WO2015029905A1 - 撮像装置、撮像システム及び画像処理方法 - Google Patents

撮像装置、撮像システム及び画像処理方法 Download PDF

Info

Publication number
WO2015029905A1
WO2015029905A1 PCT/JP2014/072017 JP2014072017W WO2015029905A1 WO 2015029905 A1 WO2015029905 A1 WO 2015029905A1 JP 2014072017 W JP2014072017 W JP 2014072017W WO 2015029905 A1 WO2015029905 A1 WO 2015029905A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
circle
image data
image processing
Prior art date
Application number
PCT/JP2014/072017
Other languages
English (en)
French (fr)
Inventor
剛幸 味戸
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP14838937.2A priority Critical patent/EP3041220B1/en
Priority to CN201480047014.7A priority patent/CN105474623B/zh
Publication of WO2015029905A1 publication Critical patent/WO2015029905A1/ja
Priority to US15/051,818 priority patent/US9973715B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the present invention relates to an imaging apparatus, an imaging system, and an image processing method.
  • a general image pickup apparatus forms an optical image of a subject on an image pickup device via an optical system.
  • the amount of light of the optical image formed on the image pickup element decreases as it becomes closer to the image pickup element due to the characteristics of the optical system.
  • the distortion of the optical image increases as it becomes closer to the image pickup element.
  • shading correction has been performed in order to correct a decrease in the amount of light in the vicinity of the image sensor
  • distortion correction has been performed in order to correct distortion of the optical image due to the characteristics of the optical system.
  • the S / N characteristics may change between the center and the periphery of the image.
  • Japanese Patent Laid-Open No. 2006-295807 the S / N between the center and the periphery of an image is controlled by controlling the noise reduction suppression level according to the correction amount used for shading correction or the like. It has been proposed to suppress changes in characteristics.
  • An image circle is an effective image formation region of an optical image of a subject, for example, an image formation region on an image sensor in which the light amount reduction is within a certain value.
  • An object of the present invention is to provide an imaging device, an imaging system, and an image processing method.
  • the imaging apparatus has a variable focal length, and the size of an image circle that is an effective imaging region of an optical image of a subject depends on the focal length.
  • a different optical system a data storage unit for storing data indicating a correspondence relationship between the value of the focal length and the value of the size of the image circle, and the optical image formed on the imaging device via the optical system
  • An image unit that obtains image data from the image data, an image data that corresponds to the inside of the image circle, and an image that corresponds to the outside of the image circle, of the image data obtained by the imaging unit based on the data indicating the correspondence
  • an image processing unit that performs different image processing for each data.
  • the imaging system has a variable focal length, and the size of an image circle, which is an effective imaging area of an optical image of a subject, depends on the focal length.
  • a different optical system a lens data storage unit for storing data indicating a correspondence relationship between the value of the focal length and the value of the size of the image circle, and a lens interface unit for sending data indicating the correspondence relationship
  • An interchangeable lens an imaging unit that obtains image data from the optical image formed on the imaging device via the optical system, and an apparatus interface unit for receiving data indicating the correspondence from the lens interface unit; , Of the image data obtained by the imaging unit based on the data indicating the correspondence received by the device interface unit
  • an image pickup apparatus including an image processing unit for performing an image data corresponding to the inside of the image circle of different image processing with the image data corresponding to the outside of the image circle.
  • the image processing method has a variable focal length, and the size of an image circle that is an effective imaging region of an optical image of a subject is the focal length.
  • FIG. 1 is a diagram showing an overall configuration of an imaging system according to each embodiment of the present invention.
  • FIG. 2A is a diagram illustrating an example of the configuration of the optical system, and is a diagram illustrating the optical system in a state where the focal length corresponds to the wide end.
  • FIG. 2B is a diagram illustrating a configuration of an example of the optical system, and is a diagram illustrating the optical system in a state where the focal length corresponds to the tele end.
  • FIG. 3 is a functional block diagram showing the flow of data processing in the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing a detailed operation of the imaging system according to the first embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the setting of the number of times of photographing.
  • FIG. 5 is a diagram for explaining the setting of the number of times of photographing.
  • FIG. 6A is a diagram illustrating an example of shading characteristic data.
  • FIG. 6B is a diagram showing the relationship between the image height position and the composition ratio in the first embodiment of the present invention.
  • FIG. 7 is a diagram showing a quadrant.
  • FIG. 8 is a flowchart showing the composition process.
  • FIG. 9 is a functional block diagram showing the flow of data processing in the second embodiment of the present invention.
  • FIG. 10 is a flowchart showing a detailed operation of the imaging system according to the second embodiment of the present invention.
  • FIG. 11 is a diagram showing the relationship between the image height position and the composition ratio in the second embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of shading characteristic data.
  • FIG. 13 is a functional block diagram showing the flow of data processing in the third embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a configuration of the noise reduction processing unit 2225c2.
  • FIG. 15A is a diagram illustrating a search region and a comparison pixel weight when the target pixel is inside the image circle.
  • FIG. 15B is a diagram illustrating search areas and comparison pixel weights when the target pixel is outside the image circle.
  • FIG. 16 is a functional block diagram showing the flow of data processing in the fourth embodiment of the present invention.
  • FIG. 17 is a flowchart showing pixel addition processing.
  • FIG. 18A is a diagram illustrating an example of shading characteristic data.
  • FIG. 18B is a first diagram illustrating a setting example of a pixel addition coefficient in the fourth embodiment.
  • FIG. 18C is a second diagram illustrating a setting example of the pixel addition coefficient in the fourth embodiment.
  • FIG. 19 is a diagram showing the relationship between the image height position and the composition ratio in the fourth embodiment.
  • FIG. 1 is a diagram showing an overall configuration of an imaging system according to each embodiment of the present invention.
  • the imaging system 1 illustrated in FIG. 1 includes an interchangeable lens 100 and an imaging device 200.
  • the interchangeable lens 100 is configured to be attached to and detached from the imaging device 200.
  • the interchangeable lens 100 is connected to the imaging apparatus 200 so as to be able to communicate.
  • the interchangeable lens 100 becomes operable according to the control of the imaging device 200.
  • the interchangeable lens 100 includes an optical system 101, a lens driving mechanism 104, an aperture driving mechanism 106, a zoom ring 108, a zoom position detection unit 110, a lens control unit 112, and a lens mount contact 114. .
  • the optical system 101 is an optical system for forming an image of a light beam from a subject (not shown) on the imaging surface of the imaging element 206.
  • the optical system 101 includes a photographing lens 1021 and a diaphragm 1022.
  • the taking lens 1021 is a single lens or a plurality of lenses that have a variable focal length and are designed to change the size of the image circle as the focal length changes.
  • the photographing lens 1021 of the example of the present embodiment is driven along the optical axis direction indicated by a one-dot chain line in FIG. It is designed so that the image circle becomes smaller as it gets longer.
  • the diaphragm 1022 is configured to be openable and closable, and adjusts the amount of light incident on the image sensor 206 via the photographing lens 1021. Details of the optical system 101 will be described later.
  • the lens drive mechanism 104 has a motor and its drive circuit.
  • the lens driving mechanism 104 drives the photographing lens 1021 in the optical axis direction under the control of the lens control unit 112.
  • the aperture drive mechanism 106 has a drive mechanism for driving the aperture 1022.
  • the aperture driving mechanism 106 drives the aperture 1022 according to the control of the lens control unit 112.
  • the zoom ring 108 is an operation member provided so as to be rotatable along the outer periphery of the main body of the interchangeable lens 100.
  • the zoom position detection unit 110 is, for example, an encoder configured to detect an operation amount of the zoom ring 108.
  • the zoom position detection unit 110 inputs the operation amount of the zoom ring 108 to the lens control unit 112 as information on the focal length (zoom position) of the photographing lens 1021.
  • the value of the zoom position means, for example, that the focal length of the photographing lens 1021 becomes longer as the value becomes larger.
  • the lens control unit 112 is communicably connected to the main body control unit 222 of the imaging apparatus 200 via the lens mount contact 114 and the main body mount contact 224.
  • the lens control unit 112 controls the lens driving mechanism 104 and the aperture driving mechanism 106 in accordance with an input from the main body control unit 222 or an input from the zoom position detection unit 110.
  • the lens control unit 112 includes a lens data storage unit 1121 that is, for example, a flash memory.
  • the lens data storage unit 1121 stores lens data such as aberration characteristics of the optical system 101.
  • the lens data storage unit 1121 in the present embodiment stores data on the amount of light reduction with respect to the image height with reference to the optical axis center as shading characteristic data.
  • the lens data storage unit 1121 stores shading characteristic data for each value of the focal length (zoom position) of the photographing lens 1021. This is because the optical system 101 is an optical system that changes the size of the image circle according to the focal length.
  • the lens mount contact 114 is a contact provided on the mount portion of the interchangeable lens 100.
  • the lens mount contact 114 is electrically connected to the main body mount contact 224 when the interchangeable lens 100 is attached to the imaging device 200, and functions as a lens interface unit for communication between the interchangeable lens 100 and the imaging device 200.
  • the imaging apparatus 200 includes a shutter 202, a shutter driving mechanism 204, an imaging element 206, an imaging element interface (IF) unit 208, a RAM 210, a ROM 212, a display element driving unit 214, a display element 216, and a recording medium. 218, an operation unit 220, a main body control unit 222, and a main body mount contact 224.
  • IF imaging element interface
  • the shutter 202 is configured so that the imaging surface of the imaging element 206 is in a light shielding state or an exposure state. By controlling the shutter speed of the shutter 202, the exposure time of the image sensor 206 is adjusted.
  • the shutter drive mechanism 204 has a drive mechanism for driving the shutter 202, and drives the shutter 202 under the control of the main body control unit 222.
  • the imaging element 206 has an imaging surface on which light rays from a subject condensed through the optical system 101 are imaged. A plurality of pixels are two-dimensionally arranged on the imaging surface of the imaging element 206. A color filter is provided on the light incident side of the imaging surface. Such an image sensor 206 converts an optical image (subject image) corresponding to the light beam formed on the imaging surface into an electrical signal (hereinafter referred to as an image signal) corresponding to the amount of light.
  • the imaging element IF unit 208 that functions as an imaging unit together with the imaging element 206 inputs imaging control information to the imaging element 206 under the control of the CPU 2221 of the main body control unit 222 and drives the imaging element 206.
  • the image sensor IF unit 208 reads out an image signal obtained by the image sensor 206 according to the control of the main body control unit 222, and performs CDS (correlated double sampling) processing or AGC (automatic gain control) on the read image signal. Perform analog processing such as processing. Further, the image sensor IF unit 208 converts the analog processed image signal into a digital signal (hereinafter referred to as image data).
  • CDS correlated double sampling
  • AGC automatic gain control
  • the RAM 210 is, for example, an SDRAM, and has a work area and an image area as storage areas.
  • the work area is a storage area provided in the RAM 210 for temporarily storing various calculation data generated in each part of the imaging apparatus 200.
  • the image area is a storage area provided in the RAM 210 for temporarily storing image data generated in each unit of the imaging apparatus 200 such as image data obtained by the imaging element IF unit 208 and image data being processed. is there.
  • the ROM 212 is a flash memory, for example, and stores program codes for the CPU 2221 of the main body control unit 222 to execute various processes.
  • the ROM 212 stores various control parameters such as control parameters necessary for the operation of the image sensor 206 and the like, and control parameters necessary for image processing in the image processing unit 2225 in the main body control unit 222.
  • the display element driving unit 214 drives the display element 216 based on the image data input from the main body control unit 222 and causes the display element 216 to display an image.
  • the display element 216 is, for example, a liquid crystal display or an organic EL display, and displays various images such as an image for live view and an image recorded on the recording medium 218.
  • the recording medium 218 is, for example, a memory card.
  • an image file or the like obtained by the shooting operation is recorded.
  • the image file is a file configured by adding a predetermined header to image data.
  • data indicating exposure conditions and the like are recorded as tag data.
  • the operation unit 220 includes a plurality of operation members that allow the user to perform various operations of the imaging apparatus 200.
  • the operation members include a release button, a menu button, a power button, and the like.
  • the release button is an operation member for the user to instruct the imaging apparatus 200 to start still image shooting.
  • an instruction for automatic exposure (AE) processing and automatic focusing (AF) processing is given to the main body control unit 222, and when the release button is fully pressed, shooting (still image recording) operation is performed.
  • the menu button is an operation member for instructing display of a menu screen for setting various modes of the imaging apparatus 200.
  • the user can make various settings related to the imaging apparatus 200 on the menu screen.
  • the various settings include, for example, setting of the number of recording pixels that is the number of pixels of image data to be recorded on the recording medium 218.
  • the power button is an operation member for the user to instruct the imaging apparatus 200 to turn on or off the power.
  • the main body control unit 222 is a control circuit for controlling the operation of the imaging apparatus 200, and includes a CPU 2221, an AF control unit 2222, an AE control unit 2223, a motion detection unit 2224, an image processing unit 2225, and a communication control unit. 2226 and a memory control unit 2227.
  • the CPU 2221 controls the operation of each block outside the main body control unit 222 such as the shutter driving mechanism 204, the image sensor IF unit 208, the display element driving unit 214, the lens control unit 112, and each control circuit of the main body control unit 222. It is a control unit.
  • the AF control unit 2222 controls AF processing.
  • the AF process is, for example, a contrast AF process.
  • the AF control unit 2222 extracts high-frequency components of the image data obtained by the image sensor IF unit 208 and integrates the extracted high-frequency components, thereby obtaining the AF focus evaluation value in the AF area. Get every time.
  • the CPU 2221 controls the lens control unit 112 to bring the photographing lens 1021 into focus while evaluating the contrast of the image data according to the focus evaluation value.
  • the AE control unit 2223 controls AE processing. Specifically, the AE control unit 2223 calculates the subject brightness using the image data obtained by the imaging element IF unit 208.
  • the CPU 2221 exposes exposure conditions such as the aperture amount (aperture value) of the aperture 1022 at the time of shooting, the opening time of the shutter 202 (shutter speed), and the sensitivity of the image sensor 206 so that the subject luminance becomes a predetermined appropriate value. Is calculated.
  • the motion detector 2224 detects a motion vector between image data of a plurality of frames for each quadrant. The quadrant is set with the position corresponding to the optical axis center in the image data as the origin position.
  • the image processing unit 2225 performs various image processes on the image data.
  • the image processing unit 2225 in the present embodiment includes a shading correction unit 2225a, a synthesis processing unit 2225b, and a noise reduction processing unit 2225c.
  • the shading correction unit 2225a corrects a light amount decrease in the peripheral portion of the image data caused by the characteristics of the photographing lens 1021, for example, by gain multiplication.
  • the composition processing unit 2225b synthesizes image data of a plurality of frames in units of pixel data.
  • the noise reduction processing unit 2225c reduces noise in the image data by, for example, coring processing.
  • the image processing unit 2225 performs processing such as color correction processing, gamma correction processing, distortion correction processing, and compression processing in addition to shading correction processing, synthesis processing, and noise reduction processing.
  • the image processing unit 2225 also performs decompression processing on the compressed image data.
  • the communication control unit 2226 performs control when the CPU 2221 of the main body control unit 222 communicates with the lens control unit 112.
  • the memory control unit 2227 performs control when the CPU 2221 or the like accesses the RAM 210, the ROM 212, and the recording medium 218.
  • the main body mount contact 224 is a contact provided in the mount portion of the imaging apparatus 200.
  • the main body mount contact 224 is electrically connected to the lens mount contact 114 when the interchangeable lens 100 is attached to the imaging device 200, and functions as a device interface unit for communication between the interchangeable lens 100 and the imaging device 200.
  • FIGS. 2A and 2B are diagrams showing an example of the configuration of the optical system 101.
  • FIG. 2A shows a state where the focal length is equivalent to the wide end
  • FIG. 2B shows a state where the focal length is equivalent to the tele end.
  • the taking lens 1021 in the optical system 101 includes five groups of lenses G1 to G5.
  • the stop 1022 is disposed in the optical path of the five groups of lenses G1 to G5.
  • the focal length is increased mainly by extending the first group lens G1 to the subject side (lower side of the drawing).
  • the other lens groups are mainly used for aberration correction and focus correction.
  • the aperture of the first group lens G1 corresponding to the front lens is shorter than the aperture of the normal front lens. (Part A in the figure).
  • Part A in the figure.
  • the recorded image area set in advance in the image sensor 206 fits inside the image circle, but in the state where the focal distance is long as shown in FIG.
  • the recorded image area 206 does not fit inside the image circle.
  • the image data outside the image circle has a large decrease in light amount and cannot be used as image data for recording or display.
  • the image processing unit 2225 corrects such a light amount decrease using a shading correction process or the like. Details of the correction will be described later.
  • FIG. 3 is a functional block diagram showing the flow of data processing in the first embodiment of the present invention.
  • a part particularly related to the contents of the present embodiment is extracted from the imaging system 1 shown in FIG. 1.
  • the light flux from the subject incident through the photographing lens 1021 is imaged on the imaging surface of the image sensor 206.
  • the CPU 2221 controls the image sensor IF unit 208 to execute a photographing operation by the image sensor 206.
  • the focal length (zoom position) of the photographing lens 1021 at the time of photographing is detected by the zoom position detecting unit 110.
  • the lens control unit 112 acquires shading characteristic data corresponding to the zoom position detected by the zoom position detection unit 110 from the lens data storage unit 1121, and transmits the acquired shading characteristic data to the CPU 2221 of the main body control unit 222. In addition, the lens control unit 112 transmits the acquired focal length (zoom position) of the photographing lens 1021 to the CPU 2221 of the main body control unit 222.
  • the CPU 2221 changes the number of times of shooting for single frame shooting according to the focal length. Details will be described later.
  • the image signal obtained as a result of the photographing operation by the image sensor 206 is read by the image sensor IF unit 208 and converted into image data which is a digital signal.
  • This image data is stored in the image area of the RAM 210.
  • a plurality of frames of image data are used to correct a light amount decrease in the image data outside the image circle.
  • a plurality of shootings are performed. For example, in the example of FIG. 3, a maximum of four shootings are performed, and four frames of image data are stored in the image area of the RAM 210.
  • the first one is shooting for the reference image, and the remaining three are shooting for the image for synthesis.
  • the number of photographing is determined according to the shading characteristics. Details of the process for determining the number of times of shooting will be described later.
  • the CPU 2221 inputs a shading correction coefficient (correction data) for shading correction processing to the shading correction unit 2225a.
  • the shading correction coefficient is determined based on a decrease in the light amount of pixel data around the image data with respect to pixel data at the center of the image data (corresponding to the center of the optical axis).
  • the CPU 2221 calculates a composition ratio for the composition process. Then, the CPU 2221 inputs the composition ratio to the composition processing unit 2225b. Here, the composition ratio is changed according to the image height position.
  • the shading correction unit 2225a performs a shading correction process on the image data read from the RAM 210 using the shading correction coefficient input from the CPU 2221. That is, the shading correction unit 2225a performs a process of multiplying each pixel data constituting the image data by the shading correction coefficient.
  • the motion detection unit 2224 detects, for each quadrant, a motion vector between a plurality of frames of image data subjected to the shading correction process. Thereafter, the composition processing unit 2225b aligns the image data of a plurality of frames in each quadrant according to the motion vector, and then synthesizes the image data of the plurality of frames subjected to the shading correction processing according to the composition ratio input from the CPU 2221. Thereafter, the noise reduction processing unit 2225c performs noise reduction processing on the image data subjected to the synthesis processing. The image data subjected to the noise reduction processing is used for display or recording.
  • FIG. 4 is a flowchart showing a detailed operation of the imaging system according to the first embodiment of the present invention.
  • the CPU 2221 acquires information on the focal length (zoom position) of the current photographing lens 1021 detected by the zoom position detection unit 110 through communication with the lens control unit 112 (step S ⁇ b> 101). Subsequently, the CPU 2221 acquires lens data corresponding to the current zoom position, particularly shading characteristic data, through communication with the lens control unit 112 (step S102). Thereafter, the CPU 2221 determines whether or not the current zoom position is greater than or equal to a predetermined value, that is, whether or not the focal length is greater than or equal to a predetermined value (step S103).
  • the predetermined value or more in the determination in step S103 is, for example, a value that is greater than or equal to a value that causes the recorded image area of the image sensor 206 to protrude outside the image circle.
  • the CPU 2221 sets the value of the number of shots m according to the shading characteristic information and initializes the value of the parameter i indicating the number of shots to 1. (Step S104).
  • the shading characteristic data is data obtained by photographing a uniform luminance surface, for example, data shown in FIG. 6A.
  • the shading characteristic data shown in FIG. 6A is obtained by taking the diagonal image height (diagonal image height with respect to the position corresponding to the optical axis center) on the horizontal axis and the light amount (pixel data value) on the vertical axis.
  • the combination of the shading correction process and the combining process suppresses the deterioration of S / N due to the shading correction process for pixel data with a large decrease in light amount.
  • the magnitude of noise becomes 1 / ⁇ m by synthesizing m pieces of image data obtained under the same exposure conditions. Therefore, as shown in FIG. 6B, the number of shots is set according to the size of ⁇ / ⁇ , and the image data of the set number of shots is combined to suppress the deterioration of S / N outside the image circle.
  • the number of shots is 2 when 1 ⁇ / ⁇ ⁇ ⁇ 2 (the noise is 1 / ⁇ 2 at this time), and the number of shots when ⁇ 2 ⁇ / ⁇ ⁇ ⁇ 3.
  • Is 3 the noise is 1 / ⁇ 3 at this time
  • the number of shots is 4 when ⁇ 3 ⁇ / ⁇ ⁇ 2 (the noise is 1/2 at this time).
  • the CPU 2221 executes AF processing using the AF control unit 2222 and executes AE processing using the AE control unit 2223 (step S105).
  • the taking lens 1021 is driven so as to focus on the subject in the image circle.
  • the exposure condition is set so that the exposure of the subject inside the image circle is appropriate.
  • the CPU 2221 controls the image sensor IF unit 208 and the lens control unit 112 according to the exposure condition determined as a result of the AE process, and executes the reference image shooting (step S106).
  • the shading correction unit 2225a of the image processing unit 2225 performs shading correction processing on the reference image data stored in the RAM 210 as a result of shooting (step S107).
  • the shading correction coefficient S0 (z) is a function of the image height z indicating the shading characteristic data in FIG. 6A.
  • FIG. 5 is a diagram showing the relationship between the image height position and the composition ratio.
  • the composition ratio of the reference image data is set to 1 (the composition ratio of the composition image data is 0) regardless of the image height position.
  • the composition ratio of the reference image data is decreased from 1 and the composition ratio of the image data for composition is increased from 0 as the image height position approaches the end position of the recording image area.
  • the composition ratio of the reference image data and the composition ratio of each composition image data are set to 1 / (the number of shots).
  • the CPU 2221 controls the image sensor IF unit 208 and the lens control unit 112 according to the exposure condition determined as a result of the AE process, and executes the synthesis image shooting (step S109).
  • the shading correction unit 2225a of the image processing unit 2225 performs a shading correction process on the composition image data stored in the RAM 210 as a result of shooting (step S110). That is, the shading correction unit 2225a performs a process of multiplying each pixel data constituting the composition image data by a predetermined gain value (shading correction coefficient).
  • the shading correction coefficient to be multiplied with the composition image data is the shading correction coefficient S0 (z).
  • the motion detection unit 2224 calculates a motion vector in the composition image data (step S111).
  • the motion vector is calculated individually for each quadrant as shown in FIG.
  • the upper right area with respect to the origin position is the first quadrant
  • the upper left area with respect to the origin position is the second quadrant
  • the lower left area with respect to the origin position is the third quadrant
  • the lower right area with respect to the origin position is the fourth quadrant.
  • the CPU 2221 calculates the composition ratio of the composition image data (step S112).
  • the composition processing unit 2225b performs composition processing (step S113).
  • the combining process the reference image data obtained by photographing and the respective combining image data are combined according to the combining ratio for each pixel data.
  • the synthesis process will be described with reference to FIG.
  • the composition processing unit 2225b initializes a parameter j indicating a pixel position with respect to the reference image data, that is, a pixel position to be a composition process, to 0 (step S201). For example, when the parameter j is 0, the upper left pixel position in the image data is indicated. Each time the value of the parameter j increases, the pixel position is sequentially shifted rightward and downward. Subsequently, the composition processing unit 2225b determines whether or not the pixel position corresponding to the parameter j is a position outside the image circle (step S202).
  • step S202 If it is determined in step S202 that the pixel position corresponding to the parameter j is not a position outside the image circle, the composition processing unit 2225b shifts the process to step S208.
  • the composition processing unit 2225b determines the quadrant to which the pixel position corresponding to the parameter j belongs (step S203). . That is, the composition processing unit 2225b determines that the pixel position belongs to the first quadrant if the area to which the pixel position corresponding to the parameter j belongs is the upper right area, and if it is the upper left area. It is determined that the pixel position belongs to the second quadrant. If it is in the lower left area, it is determined that the pixel position belongs to the third quadrant. If it is in the lower right area, the pixel position is in the fourth quadrant. Judge that it belongs.
  • the composition processing unit 2225b After determining the quadrant, the composition processing unit 2225b obtains the motion vector in the determined quadrant from the motion detection unit 2224 (step S204). Then, the composition processing unit 2225b obtains pixel data at a pixel position shifted by the motion vector from the pixel position corresponding to the parameter j in the composition image data (step S205). Subsequently, the composition processing unit 2225b obtains the composition ratio of the composition image data at the pixel position corresponding to the parameter j, and multiplies the pixel data obtained in Step S205 by the composition ratio of the obtained composition image data (Step S206). ). Thereafter, the composition processing unit 2225b adds (synthesizes) the pixel data corresponding to the parameter j in the reference image data and the pixel data in the composition image data corresponding to the pixel data (step S207).
  • the composition processing unit 2225b determines whether or not the processing for all the pixels has been completed, that is, whether or not the parameter j has reached a value indicating the end of the recorded image area (step S208). If it is determined in step S208 that the processing has not been completed for all pixels, the composition processing unit 2225b increments the parameter j (step S209). Thereafter, the composition processing unit 2225b returns the process to step S202. In this case, the process for the pixel data at the next pixel position is performed. If it is determined in step S208 that the processing for all pixels has been completed, the composition processing unit 2225b ends the processing in FIG.
  • step S114 the CPU 2221 increments the parameter i (step S114). Thereafter, the CPU 2221 determines whether i has reached m (step S115). If it is determined in step S115 that i is not m, the CPU 2221 returns the process to step S110. In this case, the next image for synthesis is taken. When it is determined in step S115 that i has become m, the CPU 2221 shifts the processing to step S119.
  • step S103 When it is determined in step S103 that the current zoom position is not equal to or greater than the predetermined value, the CPU 2221 executes AF processing using the AF control unit 2222 and executes AE processing using the AE control unit 2223 (step S116).
  • the CPU 2221 controls the image sensor IF unit 208 and the lens control unit 112 according to the exposure condition determined as a result of the AE process, and executes image shooting (step S117).
  • the shooting in step S117 is performed in the same manner as the shooting of the reference image in step S106.
  • the shading correction unit 2225a of the image processing unit 2225 performs shading correction processing on the image data stored in the RAM 210 as a result of shooting (step S118).
  • the noise reduction processing unit 2225c of the image processing unit 2225 performs noise reduction processing on the image data (step S119).
  • the image processing is completed by the noise reduction processing.
  • other image processing such as white balance correction may be performed before and after the noise reduction processing.
  • the CPU 2221 displays an image on the display element 216 or records it on the recording medium 218 based on the image data obtained by the image processing (step S120). Thereafter, the process of FIG. 4 ends.
  • the optical system 101 in which the recorded image area may protrude from the image circle depending on the focal length when used, different image processing is performed on the inside and outside of the image circle. Done. That is, in the present embodiment, the image data of a plurality of frames is combined according to the combination ratio corresponding to the image height.
  • the S / N due to the shading correction process being performed using an extremely large shading correction coefficient outside the image circle. Can be prevented. As a result, the S / N difference between the inside and outside of the image circle is reduced even when the optical system 101 is used in which the recorded image area may protrude from the image circle depending on the focal length. be able to.
  • alignment based on the motion vector is performed for each quadrant to which the pixel data to be synthesized belongs.
  • the synthesis process is performed after the shading correction process.
  • such a synthesis process may be performed after, for example, the distortion correction process.
  • the distortion correction process increases the noise outside the image circle as a result of the correction process, so that the technique of this embodiment is effective.
  • FIG. 9 is a functional block diagram showing the flow of data processing in the second embodiment of the present invention.
  • blocks having functions corresponding to those in FIG. 3 are denoted by the same reference numerals as in FIG.
  • the description of the same parts as those in FIG. 3 is omitted.
  • the exposure condition and the shading correction coefficient are changed between the reference image data and the composition image data so as to reduce the number of times the composition image is captured. This is the same as the embodiment.
  • FIG. 10 is a flowchart showing a detailed operation of the imaging system according to the second embodiment of the present invention.
  • the description of the same processing as in FIG. 4 is omitted. That is, the processes in steps S301 to S306 and steps S311 to S318 in FIG. 10 are the same as the processes in steps S101 to S103, S105 to S107, and steps S111 to 120 in FIG.
  • the processing for determining the number of times of photographing in step S104 is omitted.
  • FIG. 11 is a diagram illustrating the relationship between the image height position and the composition ratio in the second embodiment.
  • the synthesis ratio of the reference image data is set to 1 (the synthesis ratio of the synthesis image data is 0) regardless of the image height position.
  • the composition ratio of the reference image data is decreased from 1 and the composition ratio of the image data for composition is increased from 0 as the image height position approaches the end position of the recording image area.
  • the composition ratio of the reference image data is set to 0, and the composition ratio of the composition image data is set to 1.
  • the CPU 2221 sets the exposure condition for the composition image based on the shading characteristic data and the exposure condition for the reference image (step S308).
  • the setting of the exposure condition of the composition image will be described.
  • the decrease in the light amount becomes extremely large outside the image circle.
  • S / N deteriorates.
  • the reduction in the amount of light outside the image circle is suppressed by reducing the shutter speed at the time of capturing the image for composition. .
  • the shutter speed b at the time of capturing the composition image is given by, for example, (Equation 1) below.
  • b a ⁇ ⁇ / ⁇ (Formula 1)
  • the CPU 2221 executes photographing of the composition image in accordance with the exposure condition set in step S308 (step S309).
  • the CPU 2221 calculates a shading correction coefficient for the composition image (step S310).
  • the shading correction coefficient S1 (z) for the composition image is given, for example, by the following (Equation 2).
  • the shading correction unit 2225a of the image processing unit 2225 performs a shading correction process on the composition image data stored in the RAM 210 as a result of photographing (step S310).
  • the processing after the shading correction processing is the same as in FIG.
  • the composition image data that is brighter than the reference image data by increasing the shutter speed is combined with the reference image data.
  • the S / N difference between the inside and the outside of the image circle can be reduced.
  • FIG. 13 is a functional block diagram showing the flow of data processing in the third embodiment of the present invention.
  • blocks having functions corresponding to those in FIG. 3 are denoted by the same reference numerals as in FIG.
  • the description of the same parts as those in FIG. 3 is omitted.
  • one shooting is performed and image data is stored in the RAM 210.
  • This image data is subjected to a shading correction process in the shading correction unit 2225a.
  • the shading correction coefficient in the shading correction process is the same as that in the first embodiment.
  • the image data subjected to the shading correction processing in the shading correction unit 2225a is input to the noise reduction processing unit 2225c1 and the noise reduction processing unit 2225c2.
  • the shooting operation of the third embodiment of the present invention corresponds to the flowchart in FIG. 10 in which the part related to shooting and correction of the composition image is deleted. In other words, this corresponds to the step S307-S312 deleted.
  • noise reduction processing unit 2225c noise reduction processing using, for example, coring processing is performed as in the first embodiment.
  • the reference image data obtained by the noise reduction processing in the noise reduction processing unit 2225c1 is input to the synthesis processing unit 2225b.
  • the noise reduction processing unit 2225c2 is subjected to noise reduction processing different from that of the noise reduction processing unit 2225c1.
  • the peripheral image data obtained by the noise reduction processing in the noise reduction processing unit 2225c2 is input to the synthesis processing unit 2225b.
  • the noise reduction processing in the noise reduction processing unit 2225c will be further described.
  • FIG. 14 is a diagram illustrating a configuration of the noise reduction processing unit 2225c2.
  • the noise reduction processing unit 2225c2 includes a similarity calculation unit 302 and a pixel value calculation unit 304.
  • the similarity calculation unit 302 calculates the similarity between the target pixel block and the comparison pixel block set in the image data, and inputs the calculated similarity to the pixel value calculation unit 304 as the similarity weight.
  • the pixel-of-interest block is a block in a predetermined range (for example, 3 ⁇ 3 pixels) centered on the pixel of interest sequentially set in the image data.
  • the comparison pixel block is a block in the same range as the target pixel block centered on the comparison pixels sequentially set in the search region including the target pixel block.
  • the pixel value calculation unit 304 searches the search area for a comparison pixel block having the largest similarity weight with respect to each target pixel block, and corresponds to the pixel data of the target pixel in each target pixel block and the target pixel.
  • the pixel data of the comparison pixels are weighted and added using the comparison pixel weights set for the respective comparison pixels, and the weighted addition result is output as the final pixel data of the pixel of interest.
  • noise is reduced by changing the size of the search region and the comparison pixel weight depending on whether the target pixel is inside or outside the image circle.
  • FIG. 15A shows the search region and the comparison pixel weight when the target pixel is inside the image circle.
  • FIG. 15B shows the search region and the comparison pixel weight when the target pixel is outside the image circle.
  • the number written in the search area indicates the comparison pixel weight.
  • the search area is set only in the periphery of the target pixel block (for example, 7 ⁇ 7 pixels centered on the target pixel).
  • the comparison pixel weight is set to 1 in the entire search area in the image circle.
  • the final pixel data of the target pixel obtained by weighted addition of the target pixel and the comparison pixel is average pixel data of the target pixel and the comparison pixel.
  • the comparison pixel weight is set to increase in the order of the inner side of the image circle, the boundary part of the image circle, and the outer side of the image circle. Accordingly, in this case, when the comparison pixel corresponding to the target pixel is a pixel inside the image circle, the weight of the comparison pixel is increased. That is, in the final pixel data of the pixel of interest, the noise in the pixels outside the image circle, which is increased by the shading correction process due to the increase of the components inside the image circle, is reduced.
  • the CPU 2221 inputs the synthesis ratio of the reference image data and the peripheral image data to the synthesis processing unit 2225b.
  • the composition ratio is determined according to the image height in the same manner as shown in FIG.
  • the composition ratio of the composition image data in FIG. 11 is treated as the composition ratio of the peripheral image data.
  • the composition processing unit 2225b synthesizes the reference image data and the peripheral image data.
  • the method of the synthesis process may be the same as that described in FIG. However, the processing corresponds to a flowchart in which the processing for acquiring the motion vector in step S204 and the processing for acquiring pixel data in which the motion vector is shifted from the synthesis pixel in step S205 are deleted from FIG.
  • two different types of noise reduction processing are performed on the image data that has undergone the shading correction processing.
  • the difference in S / N between the inner side and the outer side can be reduced.
  • the noise reduction processing unit 2225c1 performs the noise reduction processing by coring processing.
  • the noise reduction processing unit 2225c1 may perform the same noise reduction processing as the noise reduction processing unit 2225c2.
  • FIG. 16 is a functional block diagram showing the flow of data processing in the fourth embodiment of the present invention.
  • blocks having functions corresponding to those in FIG. 3 are denoted by the same reference numerals as in FIG. In the description of FIG. 16, the description of the same parts as in FIG. 3 is omitted.
  • one shooting is performed and image data is stored in the RAM 210.
  • This image data is subjected to a shading correction process in the shading correction unit 2225a.
  • the shading correction coefficient in the shading correction process is the same as that in the first embodiment.
  • the image data subjected to the shading correction processing in the shading correction unit 2225a is input to the pixel addition unit 2225d.
  • the pixel addition unit 2225d the S / N ratio outside the image circle is improved by the pixel addition process.
  • the shooting operation according to the fourth embodiment corresponds to the flowchart in FIG. 10 in which a portion related to shooting and correction of the composition image is deleted. In other words, this corresponds to the step S307-S312 deleted. Furthermore, this corresponds to a pixel addition process of FIG. 17 described later in place of the synthesis process of step S313.
  • FIG. 17 is a flowchart showing pixel addition processing.
  • the pixel addition unit 2225d sets a pixel addition coefficient (step S401).
  • the pixel addition coefficient is determined according to the shading characteristics.
  • the shading characteristic data is, for example, data shown in FIG. 18A.
  • the pixel addition coefficient is set according to the magnitude of ⁇ / ⁇ . For example, when 1 ⁇ / ⁇ ⁇ ⁇ 2 where the S / N deterioration is small, the pixel addition coefficient of the target pixel is set to be relatively larger than the pixel addition coefficients of the surrounding pixels.
  • FIG. 17 is a flowchart showing pixel addition processing.
  • the pixel addition unit 2225d sets a pixel addition coefficient (step S401).
  • the pixel addition coefficient is determined according to the shading characteristics.
  • the shading characteristic data is, for example, data shown in FIG. 18A.
  • the pixel addition coefficient is set according to the magnitude of ⁇ / ⁇ . For example, when 1 ⁇ / ⁇
  • FIG. 18B shows the pixel of interest so that the pixel addition coefficient of the pixel of interest: (total of pixel addition coefficients of surrounding pixels + pixel addition coefficient of the pixel of interest) is 1: 4 when 1 ⁇ / ⁇ ⁇ ⁇ 2. And an example in which pixel addition coefficients of surrounding pixels are set. Further, when ⁇ 2 ⁇ / ⁇ ⁇ 2 where S / N is greatly deteriorated, the pixel addition coefficient of the target pixel is set to be equal to the pixel addition coefficient of the surrounding pixels.
  • FIG. 18C shows an example in which the pixel of interest and the surrounding pixels are set so that the pixel addition coefficient of the pixel of interest: (total of pixel addition coefficients of surrounding pixels + weight of the pixel of interest) is 1: 9. Is shown.
  • FIG. 18B and FIG. 18C are setting examples of pixel addition coefficients when nine pixels are added. The number of pixels to be added is not limited to nine pixels. For example, 25 pixel addition may be used.
  • the pixel addition unit 2225d After the pixel addition coefficient is set, the pixel addition unit 2225d initializes a parameter j indicating the pixel position with respect to the pixel data of the target pixel, that is, the pixel position to be subjected to the pixel addition process to 0 (step S402). For example, when the parameter j is 0, the upper left pixel position in the image data is indicated. Each time the value of the parameter j increases, the pixel position is sequentially shifted rightward and downward. Subsequently, the pixel addition unit 2225d determines whether or not the pixel position corresponding to the parameter j is a position outside the image circle (step S403).
  • step S403 If it is determined in step S403 that the pixel position corresponding to the parameter j is not a position outside the image circle, the pixel addition unit 2225d moves the process to step S407.
  • the pixel addition unit 2225d performs weighted addition on the pixel data around the target pixel according to the pixel addition coefficient set in step S401. (Step S404). In the weighted addition here, the weighted addition is actually performed including the pixel data of the target pixel.
  • FIG. 19 is a diagram showing the relationship between the image height position and the composition ratio in the fourth embodiment.
  • the composition ratio of the pixel data of the target pixel is set to 1 (the composition ratio of the pixel data of the surrounding pixels subjected to the weighted addition is 0) regardless of the image height position. Is done.
  • the pixel data combination ratio of the pixel of interest is reduced from 1, and the pixel data combination ratio of the surrounding pixels subjected to weighted addition is 0.
  • the composition ratio of the pixel data of the target pixel is set to 0, and the composition ratio of the pixel data of the surrounding pixels subjected to the weighted addition is set to 1.
  • the pixel addition unit 2225d weights and adds the pixel data of the surrounding pixels and the pixel data of the target pixel that have been weighted and added according to the composition ratio (step S406).
  • step S403 or step S406 the pixel addition unit 2225d determines whether or not the processing for all the pixels has been completed, that is, whether or not the parameter j has reached a value indicating the end of the recorded image area (step S407). If it is determined in step S407 that the processing for all the pixels has not been completed, the pixel addition unit 2225d increments the parameter j (step S408). Thereafter, the pixel addition unit 2225d returns the process to step S403. In this case, the process for the pixel data at the next pixel position is performed. If it is determined in step S407 that the processing for all the pixels has been completed, the pixel addition unit 2225d ends the processing in FIG. Thereafter, the same processing as steps S119 and S120 in FIG. 4 is performed.
  • the noise reduction process is performed after reducing the difference between the inner and outer S / N of the image circle by pixel addition, thereby performing one-time operation as in the third embodiment.
  • the S / N difference between the inside and the outside of the image circle can be reduced by shooting.
  • each process according to the above-described embodiment can be stored as a program that can be executed by the CPU 2221.
  • it can be stored and distributed in a storage medium of an external storage device such as a memory card (ROM card, RAM card, etc.), magnetic disk (hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. .
  • the CPU 2221 reads the program stored in the storage medium of the external storage device, and the operation described above can be executed by the operation being controlled by the read program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　撮像装置(1)は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが焦点距離によって異なる光学系(101)と、焦点距離の値とイメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部(1121)と、光学系(101)を介して撮像素子(206)に結像される光学像から画像データを得る撮像部(206,208)と、対応関係を示すデータに基づいて撮像部(206,208)で得られた画像データのうちのイメージサークルの内側に対応した画像データとイメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部(2225)とを備える。

Description

撮像装置、撮像システム及び画像処理方法
　本発明は、撮像装置、撮像システム及び画像処理方法に関する。
　一般の撮像装置は、光学系を介して被写体の光学像を撮像素子に結像させている。このような撮像装置では、光学系の特性に起因して撮像素子の周辺になるほどに撮像素子に結像される光学像の光量の低下が生じる。また、このような撮像装置では、撮像素子の周辺になるほどに光学像の歪が大きくなる。従来、撮像素子の周辺における光量低下を補正するためにシェーディング補正が行われており、また光学系の特性に起因する光学像の歪を補正するために歪補正が行われている。
　ここで、シェーディング補正や歪補正を用いて画質劣化が補正されたときに、画像の中心と周辺との間でＳ／Ｎ特性が変化する場合がある。これに対し、日本国特開２００６－２９５８０７号公報では、ノイズ低減の抑圧レベルをシェーディング補正等に用いられる補正量に応じて制御することにより、画像の中心と周辺との間でのＳ／Ｎ特性の変化を抑制することが提案されている。
　撮像装置に搭載される光学系の小型化は、撮像装置の分野における大きな課題のうちの一つである。特に、高倍率の光学系は、原理的に大型化し易いため、可能な限りの小型化が望まれている。ここで、高倍率の光学系の小型化を実現しようとした場合には、その光学系の焦点距離によっては十分な大きさのイメージサークルが確保できなくなる可能性がある。イメージサークルとは、被写体の光学像の有効な結像領域、例えば光量低下が一定値以内の撮像素子上の結像領域のことである。
　十分な大きさのイメージサークルが確保できない場合において記録画像の解像を保つための手法として、イメージサークルの外側の領域の画像をも記録に使用することが考えられる。ただし、イメージサークルの外側の領域では、光量低下が極端に大きくなる。日本国特開２００６－２９５８０７号公報の手法が用いられたとしても、イメージサークルの外側の極端な光量低下によるＳ／Ｎ特性の変化を抑制することは困難である。
　本発明は、前記の事情に鑑みてなされたもので、十分な大きさのイメージサークルが確保できないような小型の光学系が用いられた場合であっても画質劣化を良好に補正することが可能な撮像装置、撮像システム及び画像処理方法を提供することを目的とする。
　前記の目的を達成するために、本発明の第１の態様の撮像装置は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部とを具備する。
　前記の目的を達成するために、本発明の第２の態様の撮像システムは、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するレンズデータ記憶部と、前記対応関係を示すデータを送るためのレンズインターフェース部とを具備する交換レンズと、前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、前記レンズインターフェース部から前記対応関係を示すデータを受けるための装置インターフェース部と、前記装置インターフェース部で受けられた前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部とを具備する撮像装置とを有する。
　前記の目的を達成するために、本発明の第３の態様の画像処理方法は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系を介して撮像部に結像される前記光学像から画像データを得ることと、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施すこととを具備する。
図１は、本発明の各実施形態に係る撮像システムの全体構成を示す図である。 図２Ａは、光学系の一例の構成を示す図であって、焦点距離がワイド端相当の状態の光学系を示す図である。 図２Ｂは、光学系の一例の構成を示す図であって、焦点距離がテレ端相当の状態の光学系を示す図である。 図３は、本発明の第１の実施形態におけるデータ処理の流れを示す機能ブロック図である。 図４は、本発明の第１の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。 図５は、撮影回数の設定について説明するための図である。 図６Ａは、シェーディング特性データの例を示す図である。 図６Ｂは、本発明の第１の実施形態における像高位置と合成比率との関係を示す図である。 図７は、象限について示す図である。 図８は、合成処理について示すフローチャートである。 図９は、本発明の第２の実施形態におけるデータ処理の流れを示す機能ブロック図である。 図１０は、本発明の第２の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。 図１１は、本発明の第２の実施形態における像高位置と合成比率との関係を示す図である。 図１２は、シェーディング特性データの例を示す図である。 図１３は、本発明の第３の実施形態におけるデータ処理の流れを示す機能ブロック図である。 図１４は、ノイズ低減処理部２２２５ｃ２の構成を示す図である。 図１５Ａは、注目画素がイメージサークルの内側にある場合の探索領域と比較画素重みとを示す図である。 図１５Ｂは、注目画素がイメージサークルの外側にある場合の探索領域と比較画素重みとを示す図である。 図１６は、本発明の第４の実施形態におけるデータ処理の流れを示す機能ブロック図である。 図１７は、画素加算処理について示すフローチャートである。 図１８Ａは、シェーディング特性データの一例を示す図である。 図１８Ｂは、第４の実施形態における画素加算係数の設定例を示す第１の図である。 図１８Ｃは、第４の実施形態における画素加算係数の設定例を示す第２の図である。 図１９は、第４の実施形態における像高位置と合成比率との関係を示す図である。
　以下、図面を参照して本発明の実施形態を説明する。　
　［第１の実施形態］
　まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像システムの全体構成を示す図である。図１に示す撮像システム１は、交換レンズ１００と、撮像装置２００とを有している。交換レンズ１００は、撮像装置２００に対して着脱されるように構成されている。撮像装置２００に交換レンズ１００が装着された場合に、交換レンズ１００は、撮像装置２００と通信自在に接続される。これにより、交換レンズ１００は、撮像装置２００の制御に従って動作可能な状態となる。
　交換レンズ１００は、光学系１０１と、レンズ駆動機構１０４と、絞り駆動機構１０６と、ズーム環１０８と、ズーム位置検出部１１０と、レンズ制御部１１２と、レンズマウント接点１１４とを有している。
　光学系１０１は、図示しない被写体からの光線を、撮像素子２０６の撮像面上に結像させるための光学系である。光学系１０１は、撮影レンズ１０２１と、絞り１０２２とを有している。撮影レンズ１０２１は、焦点距離が可変であって、焦点距離の変化に伴ってイメージサークルの大きさを変化させるように設計された単一又は複数のレンズである。具体的には、本実施形態の例の撮影レンズ１０２１は、図１の一点鎖線で示す光軸方向に沿って駆動されることによってその焦点距離を変化させるように、また焦点距離が相対的に長くなるほどにイメージサークルが小さくなるように設計されている。絞り１０２２は、開閉自在に構成され、撮影レンズ１０２１を介して撮像素子２０６に入射する光線の量を調整する。光学系１０１の詳細については後で説明する。
　レンズ駆動機構１０４は、モータ及びその駆動回路等を有している。レンズ駆動機構１０４は、レンズ制御部１１２の制御に従って、撮影レンズ１０２１をその光軸方向に駆動させる。絞り駆動機構１０６は、絞り１０２２を駆動するための駆動機構を有している。絞り駆動機構１０６は、レンズ制御部１１２の制御に従って絞り１０２２を駆動させる。
　ズーム環１０８は、交換レンズ１００の本体の外周に沿って回転自在に設けられた操作部材である。ズーム位置検出部１１０は、ズーム環１０８の操作量を検出するように構成された例えばエンコーダである。このズーム位置検出部１１０は、ズーム環１０８の操作量を、撮影レンズ１０２１の焦点距離（ズーム位置）の情報としてレンズ制御部１１２に入力する。ここで、ズーム位置の値は、例えば大きくなるほどに撮影レンズ１０２１の焦点距離が長くなることを意味している。
　レンズ制御部１１２は、レンズマウント接点１１４及び本体マウント接点２２４を介して撮像装置２００の本体制御部２２２と通信自在に接続される。このレンズ制御部１１２は、本体制御部２２２からの入力やズーム位置検出部１１０からの入力に従ってレンズ駆動機構１０４及び絞り駆動機構１０６を制御する。また、レンズ制御部１１２は、例えばフラッシュメモリであるレンズデータ記憶部１１２１を有している。レンズデータ記憶部１１２１は、光学系１０１の収差特性等のレンズデータを記憶している。また、本実施形態におけるレンズデータ記憶部１１２１は、光軸中心を基準とした像高に対する光量低下量のデータをシェーディング特性データとして記憶している。なお、レンズデータ記憶部１１２１は、撮影レンズ１０２１の焦点距離（ズーム位置）の値毎にシェーディング特性データを記憶している。これは、光学系１０１が焦点距離によってイメージサークルの大きさを変化させる光学系であるためである。
　レンズマウント接点１１４は、交換レンズ１００のマウント部に設けられた接点である。レンズマウント接点１１４は、交換レンズ１００が撮像装置２００に装着された際に本体マウント接点２２４と電気的に接続され、交換レンズ１００と撮像装置２００とが通信するためのレンズインターフェース部として機能する。
　撮像装置２００は、シャッタ２０２と、シャッタ駆動機構２０４と、撮像素子２０６と、撮像素子インターフェース（ＩＦ）部２０８と、ＲＡＭ２１０と、ＲＯＭ２１２と、表示素子駆動部２１４と、表示素子２１６と、記録メディア２１８と、操作部２２０と、本体制御部２２２と、本体マウント接点２２４とを有している。
　シャッタ２０２は、撮像素子２０６の撮像面を遮光状態又は露光状態とするように構成されている。シャッタ２０２のシャッタ速が制御されることにより、撮像素子２０６の露光時間が調整される。シャッタ駆動機構２０４は、シャッタ２０２を駆動させるための駆動機構を有し、本体制御部２２２の制御に従ってシャッタ２０２を駆動させる。
　撮像素子２０６は、光学系１０１を介して集光された被写体からの光線が結像される撮像面を有している。撮像素子２０６の撮像面には、複数の画素が２次元状に配置されている。また、撮像面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０６は、撮像面に結像された光線に対応した光像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。撮像素子２０６とともに撮像部として機能する撮像素子ＩＦ部２０８は、本体制御部２２２のＣＰＵ２２２１の制御に従って撮像制御情報を撮像素子２０６に入力して撮像素子２０６を駆動させる。また、撮像素子ＩＦ部２０８は、本体制御部２２２の制御に従って撮像素子２０６で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ部２０８は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
　ＲＡＭ２１０は、例えばＳＤＲＡＭであり、ワークエリア及び画像エリアを記憶エリアとして有している。ワークエリアは、撮像装置２００の各部で発生した各種の演算データを一時記憶しておくためにＲＡＭ２１０に設けられた記憶エリアである。画像エリアは、撮像素子ＩＦ部２０８で得られた画像データや画像処理中の画像データ等の撮像装置２００の各部で発生した画像データを一時記憶しておくためにＲＡＭ２１０に設けられた記憶エリアである。
　ＲＯＭ２１２は、例えばフラッシュメモリであり、本体制御部２２２のＣＰＵ２２２１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ２１２は、撮像素子２０６等の動作に必要な制御パラメータ及び本体制御部２２２に画像処理部２２２５での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。
　表示素子駆動部２１４は、本体制御部２２２から入力された画像データに基づいて表示素子２１６を駆動させ、表示素子２１６に画像を表示させる。表示素子２１６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、ライブビュー用の画像及び記録メディア２１８に記録された画像等の各種の画像を表示する。
　記録メディア２１８は、例えばメモリカードである。記録メディア２１８には、撮影動作によって得られた画像ファイル等が記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、露出条件を示すデータ等が、タグデータとして記録される。
　操作部２２０は、ユーザが撮像装置２００の各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、レリーズボタン、メニューボタン、電源ボタン等が含まれる。レリーズボタンは、ユーザが撮像装置２００に対して静止画撮影開始の指示をするための操作部材である。このレリーズボタンは、半押しされることによって自動露出（ＡＥ）処理及び自動合焦（ＡＦ）処理の指示を本体制御部２２２に対して与え、全押しされることによって撮影（静止画記録）動作の指示を本体制御部２２２に対して与える。メニューボタンは、撮像装置２００の各種のモードを設定するためのメニュー画面の表示を指示するための操作部材である。ユーザは、メニュー画面上で撮像装置２００に関する各種の設定を行うことができる。この各種の設定としては、例えば記録メディア２１８に記録する画像データの画素数である記録画素数の設定が含まれる。電源ボタンは、ユーザが撮像装置２００に対して電源のオン又はオフを指示するための操作部材である。
　本体制御部２２２は、撮像装置２００の動作を制御するための制御回路として、ＣＰＵ２２２１と、ＡＦ制御部２２２２と、ＡＥ制御部２２２３と、動き検出部２２２４と、画像処理部２２２５と、通信制御部２２２６と、メモリ制御部２２２７とを有している。ＣＰＵ２２２１は、シャッタ駆動機構２０４、撮像素子ＩＦ部２０８、表示素子駆動部２１４等の本体制御部２２２の外部の各ブロック及びレンズ制御部１１２、並びに本体制御部２２２の各制御回路の動作を制御する制御部である。ＡＦ制御部２２２２は、ＡＦ処理を制御する。ＡＦ処理は、例えばコントラストＡＦ処理である。具体的には、ＡＦ制御部２２２２は、撮像素子ＩＦ部２０８で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値をＡＦエリア毎に取得する。ＣＰＵ２２２１は、この合焦評価値に従って画像データのコントラストを評価しつつ、レンズ制御部１１２を制御して撮影レンズ１０２１を合焦状態とする。ＡＥ制御部２２２３は、ＡＥ処理を制御する。具体的には、ＡＥ制御部２２２３は、撮像素子ＩＦ部２０８で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ２２２１は、この被写体輝度が予め定められた適正値になるように、撮影時の絞り１０２２の開口量（絞り値）、シャッタ２０２の開放時間（シャッタ速）、撮像素子２０６の感度等の露出条件を算出する。動き検出部２２２４は、複数フレームの画像データの間の動きベクトルを象限毎に検出する。象限は、画像データにおける光軸中心相当位置を原点位置として設定される。すなわち、原点位置に対して右上の領域が第１象限であり、原点位置に対して左上の領域が第２象限であり、原点位置に対して左下の領域が第３象限であり、原点位置に対して右下の領域が第４象限である。画像処理部２２２５は、画像データに対する各種の画像処理を行う。本実施形態における画像処理部２２２５は、シェーディング補正部２２２５ａと、合成処理部２２２５ｂと、ノイズ低減処理部２２２５ｃとを有している。シェーディング補正部２２２５ａは、撮影レンズ１０２１の特性等に起因して生じる画像データの周辺部における光量低下を例えばゲイン乗算によって補正する。合成処理部２２２５ｂは、複数フレームの画像データを画素データ単位で合成する。ノイズ低減処理部２２２５ｃは、例えばコアリング処理によって画像データにおけるノイズを低減する。なお、画像処理部２２２５は、シェーディング補正部処理、合成処理、ノイズ低減処理に加えて、色補正処理、ガンマ補正処理、歪補正処理、圧縮処理等の処理も行う。また、画像処理部２２２５は、圧縮されている画像データに対する伸張処理も施す。通信制御部２２２６は、本体制御部２２２のＣＰＵ２２２１等が、レンズ制御部１１２と通信する際の制御を行う。メモリ制御部２２２７は、ＣＰＵ２２２１等が、ＲＡＭ２１０、ＲＯＭ２１２、記録メディア２１８にアクセスする際の制御を行う。
　本体マウント接点２２４は、撮像装置２００のマウント部に設けられた接点である。本体マウント接点２２４は、交換レンズ１００が撮像装置２００に装着された際にレンズマウント接点１１４と電気的に接続され、交換レンズ１００と撮像装置２００とが通信するための装置インターフェース部として機能する。
　図２Ａ及び図２Ｂは、光学系１０１の一例の構成を示す図である。図２Ａは、焦点距離がワイド端相当の状態を示し、図２Ｂは焦点距離がテレ端相当の状態を示している。図２Ａ及び図２Ｂに示すように、光学系１０１における撮影レンズ１０２１は、５群のレンズＧ１～Ｇ５によって構成されている。また、絞り１０２２は、５群のレンズＧ１～Ｇ５の光路中に配置されている。
　このような一例の撮影レンズ１０２１では、主に第１群レンズＧ１が被写体側（図面下側）に繰り出されることによって焦点距離が長くなる。その他のレンズ群は、主に収差の補正や焦点の補正に用いられる。ここで、撮影レンズ１０２１を構成している５群のレンズＧ１～Ｇ５のうち、前玉のレンズに相当する第１群レンズＧ１の口径は、通常の前玉レンズの口径に比べて短くなっている（図のＡの部分）。このため、図２Ａのような焦点距離が短い状態では、撮像素子２０６に予め設定されている記録画像領域がイメージサークルの内側に収まるが、図２Ｂのような焦点距離が長い状態では、撮像素子２０６の記録画像領域がイメージサークルの内側に収まらなくなる。イメージサークルの外側の画像データは、光量低下が大きく、通常では記録や表示のための画像データとしては使用できない。画像処理部２２２５は、このような光量低下をシェーディング補正処理等を用いて補正する。補正の詳細については後で説明する。
　図３は、本発明の第１の実施形態におけるデータ処理の流れを示す機能ブロック図である。図３においては、図１で示した撮像システム１のうち、本実施形態の内容と特に関連している部分が抜き出されている。撮影レンズ１０２１を介して入射した被写体からの光束は、撮像素子２０６の撮像面に結像される。ＣＰＵ２２２１は、撮像素子ＩＦ部２０８を制御して撮像素子２０６による撮影動作を実行する。ここで、撮影時における撮影レンズ１０２１の焦点距離（ズーム位置）は、ズーム位置検出部１１０において検出される。レンズ制御部１１２は、ズーム位置検出部１１０において検出されたズーム位置に応じたシェーディング特性データをレンズデータ記憶部１１２１から取得し、取得したシェーディング特性データを本体制御部２２２のＣＰＵ２２２１に送信する。また、レンズ制御部１１２は、取得した撮影レンズ１０２１の焦点距離（ズーム位置）を本体制御部２２２のＣＰＵ２２２１に送信する。ＣＰＵ２２２１は、焦点距離に応じて１コマ撮影に対する撮影の回数を変更する。詳細については後で説明する。
　撮像素子２０６による撮影動作の結果として得られた画像信号は、撮像素子ＩＦ部２０８によって読み出されてデジタル信号である画像データに変換される。この画像データは、ＲＡＭ２１０の画像エリアに記憶される。ここで、本実施形態では、イメージサークルの外側の画像データにおける光量低下を補正するために複数フレームの画像データが用いられる。そして、複数フレームの画像データを得るために、複数回の撮影が行われる。例えば、図３の例では、最大４回の撮影が行われて４フレームの画像データがＲＡＭ２１０の画像エリアに記憶される。ここで、図３の例における４回の撮影のうち、最初の１回が基準画像のための撮影であり、残りの３回が合成用画像のための撮影である。撮影回数は、シェーディング特性に応じて決定される。撮影回数を決定する処理の詳細は後で説明する。
　撮影枚数の設定とともに、ＣＰＵ２２２１は、シェーディング補正処理のためのシェーディング補正係数（補正データ）をシェーディング補正部２２２５ａに入力する。シェーディング補正係数は、画像データの中心（光軸中心相当）の画素データに対する画像データの周辺の画素データの光量低下から決定される。さらに、ＣＰＵ２２２１は、合成処理のための合成比率を算出する。そして、ＣＰＵ２２２１は、合成比率を合成処理部２２２５ｂに入力する。ここで、合成比率は、像高位置に応じて変更される。
　シェーディング補正部２２２５ａは、ＲＡＭ２１０から読み出した画像データに対してＣＰＵ２２２１から入力されたシェーディング補正係数を用いてシェーディング補正処理を行う。すなわち、シェーディング補正部２２２５ａは、画像データを構成する各画素データにシェーディング補正係数を乗じる処理を行う。
　合成処理が必要な場合、動き検出部２２２４は、シェーディング補正処理された複数フレームの画像データの間の動きベクトルを象限毎に検出する。その後、合成処理部２２２５ｂは、動きベクトルに応じて複数フレームの画像データの位置合わせを象限毎にした後、シェーディング補正処理された複数フレームの画像データをＣＰＵ２２２１から入力された合成比率に従って合成する。その後、ノイズ低減処理部２２２５ｃは、合成処理がされた画像データに対してノイズ低減処理を施す。このノイズ低減処理が施された画像データが表示に使用されたり、記録に使用されたりする。
　図４は、本発明の第１の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。図４においてＣＰＵ２２２１は、レンズ制御部１１２との通信により、ズーム位置検出部１１０で検出されている現在の撮影レンズ１０２１の焦点距離（ズーム位置）の情報を取得する（ステップＳ１０１）。続いて、ＣＰＵ２２２１は、レンズ制御部１１２との通信により、現在のズーム位置に応じたレンズデータ、特にシェーディング特性データを取得する（ステップＳ１０２）。その後、ＣＰＵ２２２１は、現在のズーム位置が所定以上であるか否か、すなわち焦点距離が所定以上の長さであるか否かを判定する（ステップＳ１０３）。ステップＳ１０３の判定における所定以上とは、例えば撮像素子２０６の記録画像領域がイメージサークル外にはみ出してしまう値以上のことである。
　ステップＳ１０３において現在のズーム位置が所定以上であると判定した場合に、ＣＰＵ２２２１は、シェーディング特性情報に応じて撮影枚数ｍの値を設定するとともに、撮影回数を示すパラメータｉの値を１に初期化する（ステップＳ１０４）。ここで、撮影回数の設定について説明する。前述したように、撮影回数は、シェーディング特性に応じて決定される。シェーディング特性データは、均一輝度面を撮影して得られるデータであって、例えば図６Ａに示すデータである。図６Ａに示すシェーディング特性データは、横軸に対角像高（光軸中心相当位置を基準とした対角方向の像高）をとり、縦軸に光量（画素データの値）をとったものである。本実施形態のように、記録画像領域がイメージサークル外にはみ出す可能性がある場合、イメージサークルの外側では光量の低下が極端に大きくなる。イメージサークルの境界部における光量をαとし、記録画像領域の端における光量をβとしたとき、α／βがイメージサークルの内側と外側との光量低下の差異を示すことになる。ここで、ゲイン補正によるシェーディング補正処理の場合、イメージサークル境界部のような光量の低下の少ない画素データについては低ノイズで補正が行われるのに対し、記録画像領域の終端部のような光量の低下の大きい画素データについてはゲイン補正によってノイズも増幅されてしまうのでＳ／Ｎが低下する。したがって、本実施形態では、シェーディング補正処理と合成処理とを併用することにより、光量の低下の大きい画素データにおけるシェーディング補正処理によるＳ／Ｎの悪化を抑制する。ここで、同じ露出条件のもとで得られたｍ枚の画像データを合成することによって、ノイズの大きさが１／√ｍになることが知られている。したがって、図６Ｂに示すようにしてα／βの大きさに応じて撮影枚数を設定し、設定した撮影枚数の画像データを合成することで、イメージサークルの外側におけるＳ／Ｎの悪化が抑制される。図６Ｂの例では、１＜α／β≦√２のときに撮影枚数を２枚とし（このときノイズが１／√２になる）、√２＜α／β≦√３のときに撮影枚数を３枚とし（このときノイズが１／√３になる）、√３＜α／β≦２のときに撮影枚数を４枚としている（このときノイズが１／２になる）。
　撮影枚数ｍを設定してパラメータｉを初期化した後、ＣＰＵ２２２１は、ＡＦ制御部２２２２を用いてＡＦ処理を実行するとともにＡＥ制御部２２２３を用いてＡＥ処理を実行する（ステップＳ１０５）。ＡＦ処理においては、イメージサークル内の被写体に合焦するように撮影レンズ１０２１が駆動される。また、ＡＥ処理においては、イメージサークルの内側の被写体の露出が適正になるように露出条件が設定される。ＡＦ処理及びＡＥ処理の後、ＣＰＵ２２２１は、ＡＥ処理の結果として決定された露出条件に従って撮像素子ＩＦ部２０８及びレンズ制御部１１２を制御して基準画像の撮影を実行する（ステップＳ１０６）。撮影の実行後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている基準画像データに対してシェーディング補正処理を行う（ステップＳ１０７）。シェーディング補正係数Ｓ０（ｚ）は、図６Ａのシェーディング特性データを示す像高ｚの関数である。このようなシェーディング補正係数が画素データに乗じられることによって、イメージサークル境界付近の画素データにおける光量低下が補正される。ただし、イメージサークルの外側については光量低下が補正される反面、ノイズが大きく増加する。
　続いて、ＣＰＵ２２２１は、合成処理のための基準画像データの合成比率を算出し、算出した合成比率を、基準画像データを構成する各画素データに乗じる（ステップＳ１０８）。ここで、合成比率の算出について説明する。図５は、像高位置と合成比率との関係を示す図である。本実施形態においては、イメージサークルの内側においては、像高位置によらずに基準画像データの合成比率が１（合成用画像データの合成比率が０）に設定される。一方、イメージサークルの外側においては、像高位置が記録画像領域の終端位置に近づくにつれて基準画像データの合成比率が１から減少され、合成用画像データの合成比率が０から増加される。そして、像高位置が記録画像領域の終端位置となったときに基準画像データの合成比率と各合成用画像データの合成比率が１／（撮影枚数）に設定される。
　基準画像に対する処理の後、ＣＰＵ２２２１は、ＡＥ処理の結果として決定された露出条件に従って撮像素子ＩＦ部２０８及びレンズ制御部１１２を制御して合成用画像の撮影を実行する（ステップＳ１０９）。撮影の実行後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている合成用画像データに対してシェーディング補正処理を行う（ステップＳ１１０）。すなわち、シェーディング補正部２２２５ａは、合成用画像データを構成する各画素データに予め定められたゲイン値（シェーディング補正係数）を乗じる処理を行う。合成用画像データに乗じるシェーディング補正係数は、シェーディング補正係数Ｓ０（ｚ）である。
　続いて、動き検出部２２２４は、合成用画像データにおける動きベクトルを算出する（ステップＳ１１１）。ここで、動きベクトルは、図７で示すような象限毎に個別に算出される。前述したように、原点位置に対して右上の領域が第１象限であり、原点位置に対して左上の領域が第２象限であり、原点位置に対して左下の領域が第３象限であり、原点位置に対して右下の領域が第４象限である。動きベクトルが算出された後、ＣＰＵ２２２１は、合成用画像データの合成比率を算出する（ステップＳ１１２）。続いて合成処理部２２２５ｂは、合成処理を行う（ステップＳ１１３）。合成処理においては、撮影により得られた基準画像データと各合成用画像データとが画素データ毎に合成比率に従って合成される。以下、図８を参照して合成処理について説明する。
　図８において、合成処理部２２２５ｂは、基準画像データに対する画素位置、すなわち合成処理の対象となる画素位置を示すパラメータｊを０に初期化する（ステップＳ２０１）。パラメータｊは、例えば０のときに画像データにおける左上の画素位置を示す。そして、パラメータｊの値が増加する毎に、画素位置が右方向及び下方向に順次ずらされる。続いて、合成処理部２２２５ｂは、パラメータｊに対応した画素位置がイメージサークルの外側の位置であるか否かを判定する（ステップＳ２０２）。ステップＳ２０２においてパラメータｊに対応した画素位置がイメージサークルの外側の位置でないと判定した場合に、合成処理部２２２５ｂは、処理をステップＳ２０８に移行させる。ステップＳ２０２においてパラメータｊに対応した画素位置がイメージサークルの外側の位置であると判定した場合に、合成処理部２２２５ｂは、パラメータｊに対応した画素位置が属している象限を判定する（ステップＳ２０３）。すなわち、合成処理部２２２５ｂは、パラメータｊに対応した画素位置が属している領域が、右上領域である場合には画素位置が第１象限に属していると判定し、左上領域である場合には画素位置が第２象限に属していると判定し、左下領域である場合には画素位置が第３象限に属していると判定し、右下領域である場合には画素位置が第４象限に属していると判定する。
　象限の判定後、合成処理部２２２５ｂは、判定された象限における動きベクトルを動き検出部２２２４から取得する（ステップＳ２０４）。そして、合成処理部２２２５ｂは、合成用画像データにおけるパラメータｊに対応した画素位置から動きベクトル分だけずらした画素位置の画素データを取得する（ステップＳ２０５）。続いて、合成処理部２２２５ｂは、パラメータｊに対応した画素位置における合成用画像データの合成比率を取得し、取得した合成用画像データの合成比率をステップＳ２０５で取得した画素データに乗じる（ステップＳ２０６）。その後、合成処理部２２２５ｂは、基準画像データにおけるパラメータｊに対応した画素データとこの画素データと対応する合成用画像データにおける画素データとを加算（合成）する（ステップＳ２０７）。
　ステップＳ２０２又はステップＳ２０７の後、合成処理部２２２５ｂは、全画素に対する処理が終了したか否か、すなわちパラメータｊが記録画像領域の終端を示す値になったか否かを判定する（ステップＳ２０８）。ステップＳ２０８において全画素に対する処理が終了していないと判定した場合に、合成処理部２２２５ｂは、パラメータｊをインクリメントする（ステップＳ２０９）。その後、合成処理部２２２５ｂは、処理をステップＳ２０２に戻す。この場合、次の画素位置の画素データに対する処理が行われる。ステップＳ２０８において全画素に対する処理が終了したと判定した場合に、合成処理部２２２５ｂは、図８の処理を終了させる。
　ここで、再び図４の説明に戻る。１枚の合成用画像データに対する合成処理の後、ＣＰＵ２２２１は、パラメータｉをインクリメントする（ステップＳ１１４）。その後、ＣＰＵ２２２１は、ｉがｍになったか否かを判定する（ステップＳ１１５）。ステップＳ１１５においてｉがｍになっていないと判定した場合に、ＣＰＵ２２２１は、処理をステップＳ１１０に戻す。この場合、次の合成用画像の撮影が行われる。ステップＳ１１５においてｉがｍになったと判定した場合に、ＣＰＵ２２２１は、処理をステップＳ１１９に移行させる。
　ステップＳ１０３において現在のズーム位置が所定以上でないと判定した場合に、ＣＰＵ２２２１は、ＡＦ制御部２２２２を用いてＡＦ処理を実行するとともにＡＥ制御部２２２３を用いてＡＥ処理を実行する（ステップＳ１１６）。
　ＡＦ処理及びＡＥ処理の後、ＣＰＵ２２２１は、ＡＥ処理の結果として決定された露出条件に従って撮像素子ＩＦ部２０８及びレンズ制御部１１２を制御して画像の撮影を実行する（ステップＳ１１７）。ステップＳ１１７の撮影は、ステップＳ１０６の基準画像の撮影と同様に行われる。撮影の実行後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている画像データに対してシェーディング補正処理を行う（ステップＳ１１８）。
　ステップＳ１１５においてパラメータｉがｍになったとＣＰＵ２２２１が判定した場合又はステップＳ１１８の後、画像処理部２２２５のノイズ低減処理部２２２５ｃは、画像データに対するノイズ低減処理を行う（ステップＳ１１９）。ここで、図４の例ではノイズ低減処理で画像処理が終了されている。しかしながら、ノイズ低減処理の前後に、ホワイトバランス補正等のその他の画像処理が行われても良い。画像処理の後、ＣＰＵ２２２１は、画像処理により得られた画像データに基づいて画像を表示素子２１６に表示させたり、記録メディア２１８に記録したりする（ステップＳ１２０）。その後、図４の処理が終了する。
　以上説明したように本実施形態によれば、焦点距離によって記録画像領域がイメージサークル外にはみ出す可能性のある光学系１０１が用いられた場合には、イメージサークルの内側と外側で異なる画像処理が行われる。すなわち、本実施形態では、像高に応じた合成比率に従って複数フレームの画像データの合成処理が行われる。このように、本実施形態では、シェーディング補正処理とともに像高に応じた合成処理が行われるので、イメージサークルの外側において極端に大きなシェーディング補正係数を用いてシェーディング補正処理が行われることによるＳ／Ｎの悪化を抑制することができる。結果として、焦点距離によって記録画像領域がイメージサークル外にはみ出す可能性のある光学系１０１が用いられた場合であっても、イメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。
　また、本実施形態では、合成対象の画素データが属する象限毎に動きベクトルに基づく位置合わせが行われる。象限毎に位置合わせが行われることにより、合成処理の際の位置合わせの精度を向上させることが可能である。
　ここで、本実施形態では、シェーディング補正処理の後に合成処理が行われているが、このような合成処理は例えば歪補正処理の後に行われても良い。歪補正処理もシェーディング補正処理と同様に、補正処理の結果、イメージサークルの外側におけるノイズが増加するので本実施形態の技術が有効である。
　［第２の実施形態］
　次に本発明の第２の実施形態について説明する。図９は、本発明の第２の実施形態におけるデータ処理の流れを示す機能ブロック図である。ここで、図９において図３と対応する機能を有するブロックについては図３と同様の参照符号を付している。また、図９については、図３と同様の部分については説明を省略する。すなわち、第２の実施形態は、基準画像データと合成用画像データとで露出条件及びシェーディング補正係数を変更することで合成用画像の撮影回数を減らすようにしたものであり、これ以外は第１の実施形態と同様である。
　図１０は、本発明の第２の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。ここで、図１０において図４と同様の処理については説明を省略する。すなわち、図１０のステップＳ３０１－Ｓ３０６とステップＳ３１１－Ｓ３１８の処理は、図４のステップＳ１０１－Ｓ１０３及びＳ１０５－Ｓ１０７とステップＳ１１１－１２０の処理と同様である。第２の実施形態においては撮影回数が２回に固定されているので、ステップＳ１０４の撮影回数の決定の処理が省略される。
　基準画像データに対するシェーディング補正処理の後、ＣＰＵ２２２１は、合成処理のための基準画像データの合成比率を算出し、算出した合成比率を、基準画像データを構成する各画素データに乗じる（ステップＳ３０７）。ここで、第２の実施形態における合成比率の算出について説明する。図１１は、第２の実施形態における像高位置と合成比率との関係を示す図である。第２の実施形態において、イメージサークルの内側においては、像高位置によらずに基準画像データの合成比率が１（合成用画像データの合成比率が０）に設定される。一方、イメージサークルの外側においては、像高位置が記録画像領域の終端位置に近づくにつれて基準画像データの合成比率が１から減少され、合成用画像データの合成比率が０から増加される。そして、像高位置が記録画像領域の終端位置となったときに基準画像データの合成比率は０に設定され、合成用画像データの合成比率が１に設定される。
　基準画像に対する処理の後、ＣＰＵ２２２１は、シェーディング特性データと基準画像の露出条件とに基づいて合成用画像の露出条件を設定する（ステップＳ３０８）。ここで、合成用画像の露出条件の設定について説明する。図１２のシェーディング特性データにおいても示すように、イメージサークルの外側では光量の低下が極端に大きくなる。また、光量の低下の大きい画素データに対してゲイン補正によるシェーディング補正処理が行われるとＳ／Ｎが悪化する。本実施形態においては基準画像データと合成用画像データとの合成処理を行うのに先立って、合成用画像の撮影時のシャッタ速を遅くすることによって、イメージサークルの外側における光量の低下を抑制する。このような処理により、本実施形態においては、イメージサークルの外側におけるＳ／Ｎの悪化を抑制する。ステップＳ３０４で算出された基準画像の撮影時のシャッタ速をａとしたとき、合成用画像の撮影時のシャッタ速ｂは、例えば以下の（式１）で示すように与えられる。　
　　　ｂ＝ａ×α／β　　　　　　　　　　　　　　　　　　　　　　（式１）
　合成用画像の露出条件を設定した後、ＣＰＵ２２２１は、ステップＳ３０８で設定した露出条件に従って合成用画像の撮影を実行する（ステップＳ３０９）。撮影の実行後、ＣＰＵ２２２１は、合成用画像に対するシェーディング補正係数を算出する（ステップＳ３１０）。合成用画像に対するシェーディング補正係数Ｓ１（ｚ）は、例えば以下の（式２）で示すように与えられる。　
　　　Ｓ１（ｚ）＝Ｓ０（ｚ）×ａ／ｂ　　　　　　　　　　　　　　（式２）
　シェーディング補正係数の算出後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている合成用画像データに対してシェーディング補正処理を行う（ステップＳ３１０）。シェーディング補正処理後の処理については図４と同様なので説明を省略する。
　以上説明したように本実施形態によれば、シャッタ速を速くすることによって基準画像データよりも明るくした合成用画像データを基準画像データに合成することにより、少ない合成枚数、すなわち少ない撮影回数で第１の実施形態と同様にイメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。
　［第３の実施形態］
　次に本発明の第３の実施形態について説明する。図１３は、本発明の第３の実施形態におけるデータ処理の流れを示す機能ブロック図である。ここで、図１３において図３と対応する機能を有するブロックについては図３と同様の参照符号を付している。また、図１３の説明において図３と同様の部分については説明を省略する。第３の実施形態においては、１回の撮影が行われて画像データがＲＡＭ２１０に記憶される。この画像データは、シェーディング補正部２２２５ａにおいてシェーディング補正処理がなされる。シェーディング補正処理におけるシェーディング補正係数は、第１の実施形態と同様である。シェーディング補正部２２２５ａにおいてシェーディング補正処理された画像データは、ノイズ低減処理部２２２５ｃ１とノイズ低減処理部２２２５ｃ２とに入力される。また、本発明の第３の実施形態の撮影動作は、図１０のフローチャートにおいて、合成用画像の撮影及び補正に関わる部分を削除したものに相当する。つまり、ステップＳ３０７―Ｓ３１２を削除したものに相当する。
　ノイズ低減処理部２２２５ｃ１では、第１の実施形態と同様に例えばコアリング処理を用いたノイズ低減処理がなされる。ノイズ低減処理部２２２５ｃ１におけるノイズ低減処理によって得られた基準画像データは、合成処理部２２２５ｂに入力される。
　一方、ノイズ低減処理部２２２５ｃ２には、ノイズ低減処理部２２２５ｃ１とは異なるノイズ低減処理がなされる。ノイズ低減処理部２２２５ｃ２におけるノイズ低減処理によって得られた周辺用画像データは、合成処理部２２２５ｂに入力される。以下、ノイズ低減処理部２２２５ｃにおけるノイズ低減処理についてさらに説明する。
　図１４は、ノイズ低減処理部２２２５ｃ２の構成を示す図である。図１４に示すように、ノイズ低減処理部２２２５ｃ２は、類似度算出部３０２と、画素値算出部３０４とを有している。類似度算出部３０２は、画像データにおいて設定された注目画素ブロックと比較画素ブロックとの類似度を算出し、算出した類似度を類似度重みとして画素値算出部３０４に入力する。ここで、注目画素ブロックは、画像データにおいて順次設定される注目画素を中心とした所定範囲（例えば３×３画素）のブロックである。比較画素ブロックは、注目画素ブロックを含む探索領域において順次設定される比較画素を中心とした注目画素ブロックと同範囲のブロックである。画素値算出部３０４は、それぞれの注目画素ブロックに対して最も類似度重みの大きい比較画素ブロックを探索領域内から探索し、それぞれの注目画素ブロックにおける注目画素の画素データとこの注目画素と対応する比較画素の画素データとをそれぞれの比較画素に設定されている比較画素重みを用いて重み付け加算し、重み付け加算結果を最終的な注目画素の画素データとして出力する。
　ここで、ノイズ低減処理部２２２５ｃ２におけるノイズ低減処理では、注目画素がイメージサークルの内側であるか外側であるかに応じて探索領域の大きさと比較画素重みとを変えるようにしてノイズの低減を図る。図１５Ａは、注目画素がイメージサークルの内側にある場合の探索領域と比較画素重みとを示している。また、図１５Ｂは、注目画素がイメージサークルの外側にある場合の探索領域と比較画素重みとを示している。ここで、探索領域内に記されている数字は、比較画素重みを示している。
　図１５Ａに示すように、注目画素がイメージサークルの内側である場合には、注目画素ブロックの周辺部（例えば注目画素を中心とする７×７画素）のみに探索領域が設定される。また、図１５Ａに示すように、イメージサークル内においては探索領域内の全てで比較画素重みが１に設定される。この場合、注目画素と比較画素とを重み付け加算することによって得られる最終的な注目画素の画素データは、注目画素と比較画素との平均の画素データとなる。
　また、図１５Ｂに示すように、注目画素がイメージサークルの外側である場合には、注目画素がイメージサークルの内側である場合よりも広い範囲、すなわちイメージサークルの内側の領域も含まれるように探索領域が設定される（例えば１６×１６画素）。さらに、図１５Ｂに示すように、イメージサークルの内側、イメージサークルの境界部、イメージサークルの外側の順で比較画素重みが大きくなるように設定される。したがって、この場合、注目画素と対応する比較画素がイメージサークルの内側の画素である場合には、比較画素の重みが大きくなる。すなわち、最終的な注目画素の画素データは、イメージサークルの内側の成分が大きくなってシェーディング補正処理によって増加したイメージサークルの外側の画素におけるノイズが低減される。
　ノイズ低減処理部２２２５ｃ１とノイズ低減処理部２２２５ｃ２におけるノイズ低減処理の後、ＣＰＵ２２２１は、基準画像データと周辺用画像データとの合成比率を合成処理部２２２５ｂに入力する。合成比率は、図１１で示したものと同様に像高に応じて決定される。なお、本実施形態においては、図１１における合成用画像データの合成比率を周辺用画像データの合成比率として扱う。合成比率の入力を受けて合成処理部２２２５ｂは、基準画像データと周辺用画像データとを合成する。合成処理の手法は、図８で説明したものと同様で良い。ただし、図８から、ステップＳ２０４の動きベクトルを取得する処理、ステップＳ２０５の合成用画素から動きベクトル分をずらした画素データを取得する処理を削除したフローチャートに相当する処理となる。
　以上説明したように本実施形態によれば、シェーディング補正処理された画像データに対して異なる２種類のノイズ低減処理を施すことにより、１回の撮影で第１の実施形態と同様にイメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。
　ここで、第３の実施形態においては、ノイズ低減処理部２２２５ｃ１は、コアリング処理によってノイズ低減処理を行うとしている。これに対し、ノイズ低減処理部２２２５ｃ１もノイズ低減処理部２２２５ｃ２と同様のノイズ低減処理を行うものであっても良い。
　［第４の実施形態］
　次に本発明の第４の実施形態について説明する。図１６は、本発明の第４の実施形態におけるデータ処理の流れを示す機能ブロック図である。ここで、図１６において図３と対応する機能を有するブロックについては図３と同様の参照符号を付している。また、図１６の説明において図３と同様の部分については説明を省略する。第４の実施形態においては、１回の撮影が行われて画像データがＲＡＭ２１０に記憶される。この画像データは、シェーディング補正部２２２５ａにおいてシェーディング補正処理がなされる。シェーディング補正処理におけるシェーディング補正係数は、第１の実施形態と同様である。シェーディング補正部２２２５ａにおいてシェーディング補正処理された画像データは、画素加算部２２２５ｄに入力される。画素加算部２２２５ｄでは、画素加算処理によってイメージサークルの外側におけるＳ／Ｎの向上が図られる。以下、画素加算処理について説明する。なお、第４の実施形態における撮影動作は、図１０のフローチャートにおいて、合成用画像の撮影及び補正に関わる部分を削除したものに相当する。つまり、ステップＳ３０７―Ｓ３１２を削除したものに相当する。さらに、ステップＳ３１３の合成処理の代わりに後述する図１７の画素加算処理を置き換えたものに相当する。
　図１７は、画素加算処理について示すフローチャートである。図１７において、画素加算部２２２５ｄは、画素加算係数を設定する（ステップＳ４０１）。ここで、画素加算係数の設定について説明する。画素加算係数は、シェーディング特性に応じて決定される。シェーディング特性データは、例えば図１８Ａに示すデータである。本実施形態においては、第１の実施形態と同様、α／βの大きさに応じて画素加算係数が設定される。例えば、Ｓ／Ｎの悪化が小さい１＜α／β≦√２のときには、注目画素の画素加算係数は、周囲画素の画素加算係数よりも相対的に大きくなるように設定される。図１８Ｂは、１＜α／β≦√２のときに、注目画素の画素加算係数：（周囲画素の画素加算係数の合計＋注目画素の画素加算係数）が１：４となるように注目画素とその周囲画素の画素加算係数がそれぞれ設定された例を示している。また、Ｓ／Ｎの悪化が大きい√２＜α／β≦２のときには、注目画素の画素加算係数は、周囲画素の画素加算係数と同等となるように設定される。図１８Ｃは、注目画素の画素加算係数：（周囲画素の画素加算係数の合計＋注目画素の重み係数）が１：９となるように注目画素とその周囲画素の重み係数がそれぞれ設定された例を示している。ここで、図１８Ｂ及び図１８Ｃは、９画素加算のときの画素加算係数の設定例である。画素加算する画素数は、９画素に限るものではない。例えば、２５画素加算でも良い。
　画素加算係数の設定後、画素加算部２２２５ｄは、注目画素の画素データに対する画素位置、すなわち画素加算処理の対象となる画素位置を示すパラメータｊを０に初期化する（ステップＳ４０２）。パラメータｊは、例えば０のときに画像データにおける左上の画素位置を示す。そして、パラメータｊの値が増加する毎に、画素位置が右方向及び下方向に順次ずらされる。続いて、画素加算部２２２５ｄは、パラメータｊに対応した画素位置がイメージサークルの外側の位置であるか否かを判定する（ステップＳ４０３）。ステップＳ４０３においてパラメータｊに対応した画素位置がイメージサークルの外側の位置でないと判定した場合に、画素加算部２２２５ｄは、処理をステップＳ４０７に移行させる。ステップＳ４０３においてパラメータｊに対応した画素位置がイメージサークルの外側の位置であると判定した場合に、画素加算部２２２５ｄは、注目画素の周囲の画素データをステップＳ４０１で設定した画素加算係数に従って重み付け加算する（ステップＳ４０４）。なお、ここでの重み付け加算においては、実際には注目画素の画素データも含めて重み付け加算する。
　その後、画素加算部２２２５ｄは、ＣＰＵ２２２１から合成比率を取得する（ステップＳ４０５）。図１９は、第４の実施形態における像高位置と合成比率との関係を示す図である。第４の実施形態においては、イメージサークルの内側においては、像高位置によらずに注目画素の画素データの合成比率が１（重み付け加算された周囲画素の画素データの合成比率が０）に設定される。一方、イメージサークルの外側においては、像高位置が記録画像領域の終端位置に近づくにつれて注目画素の画素データの合成比率が１から減少され、重み付け加算された周囲画素の画素データの合成比率が０から増加される。そして、像高位置が記録画像領域の終端位置となったときに注目画素の画素データの合成比率は０に設定され、重み付け加算された周囲画素の画素データの合成比率が１に設定される。このような合成比率の取得後、画素加算部２２２５ｄは、重み付け加算された周囲画素の画素データと注目画素の画素データとを合成比率に従って重み付け加算する（ステップＳ４０６）。
　ステップＳ４０３又はステップＳ４０６の後、画素加算部２２２５ｄは、全画素に対する処理が終了したか否か、すなわちパラメータｊが記録画像領域の終端を示す値になったか否かを判定する（ステップＳ４０７）。ステップＳ４０７において全画素に対する処理が終了していないと判定した場合に、画素加算部２２２５ｄは、パラメータｊをインクリメントする（ステップＳ４０８）。その後、画素加算部２２２５ｄは、処理をステップＳ４０３に戻す。この場合、次の画素位置の画素データに対する処理が行われる。ステップＳ４０７において全画素に対する処理が終了したと判定した場合に、画素加算部２２２５ｄは、図１７の処理を終了させる。その後、図４のステップＳ１１９、Ｓ１２０と同様の処理が行われる。
　以上説明したように本実施形態によれば、画素加算によってイメージサークルの内側と外側のＳ／Ｎの差異を減らしてからノイズ低減処理を施すことにより、第３の実施形態と同様に１回の撮影でイメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。
　以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、交換レンズ１００と撮像装置２００とが別体の例が示されている。これに対し、交換レンズ１００の各構成が撮像装置２００に内蔵されていても良い。
　また、上述した実施形態による各処理は、ＣＰＵ２２２１に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２２２１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

Claims (26)

  1. 　焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、
    　前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、
    　前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、
    　前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部と、
    　を具備する撮像装置。
  2. 　前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行う請求項１に記載の撮像装置。
  3. 　前記画像処理部は、前記合成処理における前記複数の画像データの合成比率を像高に応じて変更する請求項２に記載の撮像装置。
  4. 　前記画像処理部は、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をする請求項３に記載の撮像装置。
  5. 　前記撮像部は、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速で前記撮像素子によって前記画像データを取得するとともに、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速よりも遅いシャッタ速で前記撮像素子によって前記画像データを取得することによって前記複数フレームの画像データを取得する請求項２に記載の撮像装置。
  6. 　前記画像処理部は、前記画像データにおける注目画素を中心とする注目画素ブロックと類似度の高い比較画素ブロックを前記画像データにおける探索領域内で探索し、前記注目画素と探索された前記比較画素ブロックの中心の比較画素とを重み付け加算する処理を前記画像処理として施し、前記注目画素が前記イメージサークルの内側の画素である場合と前記注目画素が前記イメージサークルの外側の画素である場合とで前記探索領域の大きさ及び前記重み付け加算の際の重み付け係数を変更する請求項２に記載の撮像装置。
  7. 　前記画像処理部は、前記注目画素が前記イメージサークルの内側の画素である場合の前記探索領域の大きさよりも前記注目画素が前記イメージサークルの外側の画素である場合の前記探索領域の大きさを大きくする請求項６に記載の撮像装置。
  8. 　前記画像処理部は、前記注目画素が前記イメージサークルの外側の画素である場合に、前記比較画素の重み付け係数を、イメージサークルの内側、イメージサークルの境界部、イメージサークルの外側の順で大きくする請求項６に記載の撮像装置。
  9. 　前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数画素データの加算処理を行い、該加算処理の際の画素加算係数を前記イメージサークルの外側におけるＳ／Ｎの悪化度合いに応じて設定する請求項１に記載の撮像装置。
  10. 　　焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、
    　　前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するレンズデータ記憶部と、
    　　前記対応関係を示すデータを送るためのレンズインターフェース部と、
    　を具備する交換レンズと、
    　　前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、
    　　前記レンズインターフェース部から前記対応関係を示すデータを受けるための装置インターフェース部と、
    　　前記装置インターフェース部で受けられた前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部と、
    　　を具備する撮像装置と、
    　を有する撮像システム。
  11. 　前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行う請求項１０に記載の撮像システム。
  12. 　前記画像処理部は、前記合成処理における前記複数の画像データの合成比率を像高に応じて変更する請求項１１に記載の撮像システム。
  13. 　前記画像処理部は、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をする請求項１２に記載の撮像システム。
  14. 　前記撮像部は、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速で前記撮像素子によって前記画像データを取得するとともに、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速よりも遅いシャッタ速で前記撮像素子によって前記画像データを取得することによって前記複数フレームの画像データを取得する請求項１１に記載の撮像システム。
  15. 　前記画像処理部は、前記画像データにおける注目画素を中心とする注目画素ブロックと類似度の高い比較画素ブロックを前記画像データにおける探索領域内で探索し、前記注目画素と探索された前記比較画素ブロックの中心の比較画素とを重み付け加算する処理を前記画像処理として施し、前記注目画素が前記イメージサークルの内側の画素である場合と前記注目画素が前記イメージサークルの外側の画素である場合とで前記探索領域の大きさ及び前記重み付け加算の際の重み付け係数を変更する請求項１１に記載の撮像システム。
  16. 　前記画像処理部は、前記注目画素が前記イメージサークルの内側の画素である場合の前記探索領域の大きさよりも前記注目画素が前記イメージサークルの外側の画素である場合の前記探索領域の大きさを大きくする請求項１５に記載の撮像システム。
  17. 　前記画像処理部は、前記注目画素が前記イメージサークルの外側の画素である場合に、前記比較画素の重み付け係数を、イメージサークルの内側、イメージサークルの境界部、イメージサークルの外側の順で大きくする請求項１５に記載の撮像システム。
  18. 　前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数画素データの加算処理を行い、該加算処理の際の画素加算係数を前記イメージサークルの外側におけるＳ／Ｎの悪化度合いに応じて設定する請求項１０に記載の撮像システム。
  19. 　焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系を介して撮像部に結像される前記光学像から画像データを得ることと、
    　前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施すことと、
    　を具備する画像処理方法。
  20. 　前記イメージサークルの内側に対応した画像データに対する画像処理は、単数フレームの画像データを用いた画像処理を行うことを具備し、前記イメージサークルの外側に対応した画像データに対する画像処理は、複数フレームの画像データの合成処理を行うことを具備する請求項１９に記載の画像処理方法。
  21. 　前記合成処理は、前記複数の画像データの合成比率を像高に応じて変更することを具備する請求項２０に記載の画像処理方法。
  22. 　前記合成処理は、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを具備する請求項２１に記載の画像処理方法。
  23. 　前記異なる画像処理は、前記画像データにおける注目画素を中心とする注目画素ブロックと類似度の高い比較画素ブロックを前記画像データにおける探索領域内で探索することと、前記注目画素と探索された前記比較画素ブロックの中心の比較画素とを重み付け加算することとを具備し、
    　前記注目画素が前記イメージサークルの内側の画素である場合と前記注目画素が前記イメージサークルの外側の画素である場合とで前記探索領域の大きさ及び前記重み付け加算の際の重み付け係数を変更することをさらに具備する請求項２０に記載の画像処理方法。
  24. 　前記重み付け係数を変更することは、前記注目画素が前記イメージサークルの内側の画素である場合の前記探索領域の大きさよりも前記注目画素が前記イメージサークルの外側の画素である場合の前記探索領域の大きさを大きくすることを具備する請求項２３に記載の画像処理方法。
  25. 　前記重み付け係数を変更することは、前記注目画素が前記イメージサークルの外側の画素である場合に、前記比較画素の重み付け係数を、イメージサークルの内側、イメージサークルの境界部、イメージサークルの外側の順で大きくすることを具備する請求項２３に記載の画像処理方法。
  26. 　前記イメージサークルの内側に対応した画像データに対する画像処理は、単数フレームの画像データを用いた画像処理を行うことを具備し、前記イメージサークルの外側に対応した画像データに対する画像処理は、複数画素データの加算処理を行うことと、該加算処理の際の画素加算係数を前記イメージサークルの外側におけるＳ／Ｎの悪化度合いに応じて設定することとを具備する請求項１９に記載の画像処理方法。
PCT/JP2014/072017 2013-08-27 2014-08-22 撮像装置、撮像システム及び画像処理方法 WO2015029905A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14838937.2A EP3041220B1 (en) 2013-08-27 2014-08-22 Image pickup device, image pickup system, and image processing method
CN201480047014.7A CN105474623B (zh) 2013-08-27 2014-08-22 摄像装置、摄像系统以及图像处理方法
US15/051,818 US9973715B2 (en) 2013-08-27 2016-02-24 Imaging apparatus, imaging system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013176099A JP6274787B2 (ja) 2013-08-27 2013-08-27 撮像装置、撮像システム及び画像処理方法
JP2013-176099 2013-08-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/051,818 Continuation US9973715B2 (en) 2013-08-27 2016-02-24 Imaging apparatus, imaging system, and image processing method

Publications (1)

Publication Number Publication Date
WO2015029905A1 true WO2015029905A1 (ja) 2015-03-05

Family

ID=52586464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/072017 WO2015029905A1 (ja) 2013-08-27 2014-08-22 撮像装置、撮像システム及び画像処理方法

Country Status (5)

Country Link
US (1) US9973715B2 (ja)
EP (1) EP3041220B1 (ja)
JP (1) JP6274787B2 (ja)
CN (1) CN105474623B (ja)
WO (1) WO2015029905A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5923670B2 (ja) * 2013-09-27 2016-05-24 富士フイルム株式会社 撮像装置及び撮像方法
JP5840189B2 (ja) * 2013-10-02 2016-01-06 オリンパス株式会社 撮像装置、画像処理装置、および画像処理方法
WO2018079071A1 (ja) * 2016-10-31 2018-05-03 株式会社日立国際電気 撮像装置
US11336827B2 (en) 2017-11-09 2022-05-17 Canon Kabushiki Kaisha Imaging apparatus and interchangeable lens apparatus that utilize image circle information of an imaging optical system in the interchangeable lens apparatus
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
JP7134666B2 (ja) * 2018-03-28 2022-09-12 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7301601B2 (ja) * 2019-05-24 2023-07-03 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295807A (ja) 2005-04-14 2006-10-26 Canon Inc 撮像装置、画像処理方法、プログラム、及び記憶媒体
JP2007159037A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2012068733A (ja) * 2010-09-21 2012-04-05 Olympus Corp 画像処理装置および画像処理プログラム
JP2013042424A (ja) * 2011-08-18 2013-02-28 Nikon Corp 交換レンズおよびカメラシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879773A (ja) 1994-08-31 1996-03-22 Sony Corp シェーディング補正装置
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
JP2003333422A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd シェーディング補正方法およびディジタルカメラ
JP2005269373A (ja) * 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd 映像信号処理システムおよび電子映像機器
JP4018705B2 (ja) * 2005-04-18 2007-12-05 キヤノン株式会社 シェーディング補正装置及び補正方法並びに撮像装置
JP2007300360A (ja) 2006-04-28 2007-11-15 Sony Corp シェーディング補正回路、シェーディング補正方法およびカメラシステム
JP2010239267A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置、周辺減光補正制御方法およびプログラム
JP5293716B2 (ja) * 2010-09-30 2013-09-18 株式会社ニコン 交換レンズ、カメラボディおよびカメラシステム
CN102955330B (zh) * 2011-08-18 2017-04-12 株式会社尼康 交换镜头及相机系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295807A (ja) 2005-04-14 2006-10-26 Canon Inc 撮像装置、画像処理方法、プログラム、及び記憶媒体
JP2007159037A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2012068733A (ja) * 2010-09-21 2012-04-05 Olympus Corp 画像処理装置および画像処理プログラム
JP2013042424A (ja) * 2011-08-18 2013-02-28 Nikon Corp 交換レンズおよびカメラシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3041220A4

Also Published As

Publication number Publication date
US9973715B2 (en) 2018-05-15
US20160173792A1 (en) 2016-06-16
CN105474623B (zh) 2019-06-11
EP3041220A4 (en) 2017-04-05
EP3041220A1 (en) 2016-07-06
JP2015046722A (ja) 2015-03-12
CN105474623A (zh) 2016-04-06
EP3041220B1 (en) 2018-10-10
JP6274787B2 (ja) 2018-02-07

Similar Documents

Publication Publication Date Title
WO2015029905A1 (ja) 撮像装置、撮像システム及び画像処理方法
US20140036134A1 (en) Focus adjustment device and focus adjustment method
JP5967902B2 (ja) 撮像装置及び絞り制御方法
CN105376475A (zh) 图像稳定装置及图像稳定装置的控制方法
JP2007019973A (ja) 撮像装置及び撮像方法
US9800776B2 (en) Imaging device, imaging device body, and lens barrel
JP2008170508A (ja) 撮像装置
CN104683687A (zh) 摄像装置和摄像方法
JP2010266742A (ja) 撮像装置、焦点調節方法
JP2008289032A (ja) 撮像装置
US9848115B2 (en) Image capturing apparatus capable of adjusting optical characteristics of lens unit attachable thereto
CN104683688A (zh) 摄像装置和摄像方法
JP2016143022A (ja) 撮像装置及び撮像方法
US9407842B2 (en) Image pickup apparatus and image pickup method for preventing degradation of image quality
JP5769773B2 (ja) カメラシステム及び焦点検出画素の補正方法
US10412321B2 (en) Imaging apparatus and image synthesis method
JP6188407B2 (ja) 交換レンズ
JP6305290B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP6330474B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
JP2015018084A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP6218385B2 (ja) 交換レンズ及び撮像装置
JP6017641B1 (ja) 撮像装置，信号処理方法，信号処理プログラム
KR20100115574A (ko) 디지털 카메라 및 그 제어방법
CN107710733B (zh) 图像处理装置、图像处理方法以及存储介质
JP2013016904A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480047014.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14838937

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014838937

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014838937

Country of ref document: EP