WO2012002298A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2012002298A1
WO2012002298A1 PCT/JP2011/064621 JP2011064621W WO2012002298A1 WO 2012002298 A1 WO2012002298 A1 WO 2012002298A1 JP 2011064621 W JP2011064621 W JP 2011064621W WO 2012002298 A1 WO2012002298 A1 WO 2012002298A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
pixel group
mode
pixel
image
Prior art date
Application number
PCT/JP2011/064621
Other languages
English (en)
French (fr)
Inventor
遠藤　宏
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP11800762.4A priority Critical patent/EP2590024A4/en
Priority to CN201180028802.8A priority patent/CN102934024B/zh
Priority to JP2012522608A priority patent/JP5628914B2/ja
Publication of WO2012002298A1 publication Critical patent/WO2012002298A1/ja
Priority to US13/713,491 priority patent/US8902294B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus and an imaging method capable of generating a stereoscopic image composed of planar images from a plurality of viewpoints using a single imaging optical system.
  • an imaging apparatus capable of generating a stereoscopic image composed of planar images from a plurality of viewpoints using a single photographing optical system.
  • Patent Document 1 discloses a configuration in which a single photographing optical system is provided, and a stereoscopic image is generated by performing pupil division by rotating a diaphragm.
  • Patent Document 2 discloses a configuration in which phase information is obtained with a single photographing optical system by providing a polarizing element and causing an imaging element to receive light for each optical path.
  • Patent Document 3 includes a single imaging optical system and an imaging element in which a first pixel group and a second pixel group that photoelectrically convert light beams that have passed through different areas of the single imaging optical system are arranged.
  • An imaging device that generates a stereoscopic image including a planar image obtained by a first pixel group and a planar image obtained by a second pixel group is disclosed.
  • Patent Document 4 describes that in the imaging apparatus described in Patent Document 3, the output of the first pixel and the output of the second pixel are added.
  • Patent Document 5 discloses a configuration in which exposure control is performed in a period set for shooting each of a 2D moving image and a 3D moving image in a compound eye imaging apparatus including a plurality of shooting optical systems. In 3D movie shooting, the mechanical aperture is not moved as much as possible because the depth is not changed.
  • an imaging apparatus capable of generating a stereoscopic image composed of planar images from a plurality of viewpoints using a single imaging optical system
  • a single wide dynamic range can be obtained from the planar images from a plurality of viewpoints.
  • the gradation is broken at the out-of-focus portion. The mechanism of such a gradation failure will be described below.
  • the distance of the subject 93 from the photographing lens 12 is closer to the focal plane D, and the focused image 93d is formed farther from the photographing lens 12 than the image sensor 16, so the image 93a of the subject 93 is also in focus. The image is out of focus.
  • the pupil of the photographic lens 12 is restricted only upward by the shutter 95 as shown in FIG. 12B, and the pupil of the photographic lens 12 is only downward by the shutter 95 as shown in FIG. 12C.
  • the amount of blur the amount that the image is out of focus
  • the position on the image sensor 16 are different from those of the monocular imaging apparatus shown in FIG. 12A. That is, in the state shown in FIG. 12B, as shown in FIG.
  • the image 91b of the subject 91 has a smaller amount of blur compared to the image 91a of the subject 91 when there is no pupil division (FIG. 13A).
  • the position moves down in the figure.
  • the image 93b of the subject 93 has a reduced amount of blur and the position moves upward in the drawing.
  • the image 91c of the subject 91 has a smaller amount of blur and the position compared to the image 91a of the subject 91 when there is no pupil division (FIG. 13A).
  • the image 93c of the subject 93 has a small amount of blur and a position moves downward in the drawing.
  • the image formation position is shifted between the image 91b and the image 91c, and the image 93b and the image 93c in the image shown in FIG. 13B and the image shown in FIG. 13C. That is, when photographing a high-resolution planar image, the light beam from the same subject passes through different pupil positions of the photographing lens 12, so that the image of the same subject is formed at different positions on the image sensor 16. Accordingly, there is a problem in that when two plane images obtained by exposure with different exposure times are added to pixels, a gradation failure due to parallax occurs.
  • Patent Documents 1 to 5 do not disclose a configuration that can improve gradation failure caused by parallax.
  • Patent Document 5 Since the configuration described in Patent Document 5 is a compound eye system, even if a small aperture is used, image shift does not occur, and the main focus is on not switching the aperture.
  • the present invention has been made in view of such circumstances, and provides an imaging apparatus and an imaging method that can reduce image formation deviation due to pupil division and improve the quality of a wide dynamic range image. Objective.
  • the present invention includes a single imaging optical system and a first pixel group and a second pixel group that photoelectrically convert light beams that have passed through different regions of the single imaging optical system. And generating a stereoscopic image including the pixel data of the first pixel group and the pixel data of the second pixel group by imaging the same scene using the first pixel group and the second pixel group.
  • the same exposure time is applied to the first pixel group and the second pixel group of the image sensor.
  • Pixels of the first pixel group A plane image is acquired by performing pixel addition of the data of the data and the pixel data of the second pixel group, and in the case of shooting in the second plane shooting mode, the first pixel group and the second pixel of the image sensor Photographing execution control means for obtaining a wide dynamic range planar image by performing pixel exposure of the pixel data of the first pixel group and the pixel data of the second pixel group by performing exposure for different exposure times to the pixel group;
  • a diaphragm device disposed in an optical path through which a light beam incident on the image sensor passes, and a diaphragm value of the diaphragm device is larger than a diaphragm value during photographing in the first planar photographing mode when photographing in the second planar photographing mode.
  • an aperture control means for providing an
  • the aperture value of the diaphragm device is set larger during shooting in the second plane shooting mode (DR mode) than during shooting in the first plane shooting mode, the image shift due to pupil division is reduced and widened. It is possible to improve the quality of a planar image having a dynamic range.
  • the first pixel group and the second pixel group are two-dimensionally arranged light receiving elements, and the imaging element includes each pixel of the first pixel group and the second pixel group. It is preferable that these pixels are arranged adjacent to each other.
  • an optical member that divides a light beam that has passed through a photographing optical system
  • the imaging element includes a first pixel group that receives each of the light beams that are pupil-divided by the optical member.
  • the image sensor is constituted by an image sensor and a second image sensor having a second pixel group.
  • the diaphragm control unit includes a neutral density filter that can be inserted into an optical path through which a light beam incident on the image sensor passes, and a subject luminance acquisition unit that acquires subject luminance. It is preferable to control whether or not the neutral density filter is inserted into the optical path based on the subject brightness acquired by the subject brightness acquisition means during shooting in the first plane shooting mode.
  • the neutral density filter is not limited to the case where it is disposed between the photographing optical system and the image sensor, and the photographing optical system is configured by a plurality of lenses (lens group) and is disposed in the lens group. Sometimes it is.
  • a subject distance acquisition unit that acquires a subject distance
  • the aperture control unit is configured to perform aperture stop based on the subject distance acquired by the subject distance acquisition unit during shooting in the second plane shooting mode. It is preferable to switch whether to open the device.
  • the diaphragm control means opens the diaphragm device when the subject distance is larger than the threshold during photographing in the second plane photographing mode.
  • a focal length acquisition unit that acquires a focal length of the imaging optical system
  • the aperture control unit sets the focal length acquired by the focal length acquisition unit during imaging in the second plane imaging mode. Based on this, it is preferable to switch whether or not to open the aperture device.
  • the aperture control means opens the aperture device when the focal length is equal to or less than a threshold during imaging in the second plane imaging mode.
  • the aperture control means determines whether or not to set the neutral density filter in the insertion state based on the subject brightness when the aperture device is in the open state during imaging in the second plane imaging mode. It is preferable to switch between them.
  • the present invention also provides a single imaging optical system, an imaging device having a first pixel group and a second pixel group that photoelectrically convert light beams that have passed through different areas of the single imaging optical system, and imaging Using the aperture device arranged in the optical path through which the light beam incident on the element passes, the same scene is imaged by the first pixel group and the second pixel group, and the pixel data of the first pixel group and the second pixel group
  • the step of accepting the setting input of one of the first plane shooting mode and the second plane shooting mode, and the aperture value of the aperture device in the case of shooting in the second plane shooting mode are set to the first plane shooting mode. From the aperture value when shooting In the case of the step of enlarging and the photographing in the first plane photographing mode, the first pixel group and the second pixel group of the image sensor are exposed for the same exposure time, and the pixels of the first pixel group A plane image is obtained by performing pixel addition of the data and the pixel data of the second pixel group, and in the case of shooting in the second plane shooting mode, the first pixel group and the second pixel of the image sensor.
  • An image capturing method including: performing exposure with a different exposure time for each group and obtaining a plane image having a wide dynamic range by pixel addition of the pixel data of the first pixel group and the pixel data of the second pixel group. I will provide a.
  • imaging in the first plane imaging mode is performed using a neutral density filter that can be inserted into an optical path through which a light beam incident on an image sensor passes, and subject luminance acquisition means for acquiring subject luminance.
  • a neutral density filter that can be inserted into an optical path through which a light beam incident on an image sensor passes
  • subject luminance acquisition means for acquiring subject luminance.
  • a subject distance acquisition unit that acquires a subject distance is used, and the aperture device is opened based on the subject distance acquired by the subject distance acquisition unit during shooting in the second plane shooting mode. It is preferable to switch whether or not.
  • a focal length acquisition unit that acquires a focal length of an imaging optical system is used, and an aperture device is used based on the focal length acquired by the focal length acquisition unit during shooting in the second plane shooting mode. It is preferable to switch whether or not to open.
  • the aperture device when the aperture device is opened during shooting in the second planar shooting mode, whether or not the neutral density filter is to be inserted can be switched based on the subject brightness. preferable.
  • the present invention it is possible to improve the quality of a wide dynamic range image by reducing false image formation due to pupil division and improving false resolution.
  • FIG. 1 is a block diagram illustrating a hardware configuration example of an imaging apparatus according to the present invention.
  • the figure which shows the structural example of an image pick-up element Diagram showing imaging pixels 3 is an enlarged view of the main part.
  • Block diagram of principal parts of the imaging apparatus according to the first embodiment The flowchart which shows the flow of the example of an imaging process in 1st Embodiment.
  • Main part block diagram of imaging device in 3rd Embodiment The flowchart which shows the flow of the example of an imaging process in 3rd Embodiment.
  • Flow chart showing the flow of shooting mode setting processing Schematic diagram showing an example of a Bayer array FIG.
  • FIG. 12A is an explanatory diagram used for explaining the problem of the present invention
  • FIG. 12A is an explanatory diagram showing the main part of an imaging system without pupil division
  • FIGS. 12B and 12C show the main part of a 3D monocular imaging system of the pupil division system.
  • Illustration FIG. 12A is a schematic diagram illustrating an image formation state in an imaging system without pupil division
  • FIGS. 12B and 12C are diagrams in a pupil division type 3D monocular imaging system. Schematic diagram showing the state of imaging Explanatory drawing showing another example of pupil division
  • FIG. 1 is a block diagram showing an embodiment of an imaging apparatus 10 according to the present invention.
  • the imaging apparatus 10 records the captured image on the recording medium 54, and the operation of the entire apparatus is controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is selection means for selecting a shooting mode such as a 2D shooting mode, a 3D shooting mode, a DR mode, and an SN mode.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been recorded is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the image light indicating the subject is imaged on the light receiving surface of the image sensor 16 through the photographing lens 12 (shooting optical system) including the focus lens and the zoom lens, and the diaphragm 14.
  • the photographing lens 12 is driven by a lens driving unit 36 controlled by the CPU 40, and focus control, zoom control, and the like are performed.
  • the diaphragm 14 is disposed in an optical path 13 through which a light beam incident on the image sensor 16 passes, and includes, for example, five diaphragm blades.
  • the aperture 14 is driven by an aperture drive unit 34 controlled by the CPU 40, and for example, aperture control is performed in 6 steps in increments of 1AV from aperture values F1.4 to F11.
  • FIG. 1 shows the case where the diaphragm 14 is disposed between the photographing lens 12 and the image sensor 16, the invention is not particularly limited to such a case.
  • the photographing lens 12 includes a plurality of lenses (or a plurality of lens groups), and a diaphragm 14 is disposed in the photographing lens 12.
  • the ND filter 15 (a neutral density filter) is a device that reduces the amount of light incident on the image sensor 16 and can be inserted into the optical path 13 through which the light beam incident on the image sensor 16 passes.
  • FIG. 1 shows the case where the ND filter 15 is disposed between the photographing lens 12 and the image pickup device 16, it is not particularly limited to such a case.
  • the photographing lens 12 includes a plurality of lenses (or a plurality of lens groups), and an ND filter 15 is disposed in the photographing lens 12.
  • the CPU 40 controls the exposure time (charge accumulation time) in the image sensor 16 and the reading of the image signal in the image sensor 16 via the image sensor control unit 32. Further, the CPU 40 controls pixel addition in the image sensor 16 via the image sensor control unit 32. Further, the CPU 40 switches the insertion state and the non-insertion state of the ND filter 15 via the filter insertion / extraction control unit 33. Further, the CPU 40 controls the diaphragm 14 via the diaphragm driving unit 34.
  • FIG. 2 is a diagram illustrating a configuration example of the image sensor 16.
  • FIG. 3 is a diagram showing the photographic lens 12, the diaphragm 14, and the main pixel PDa and the sub-pixel PDb of the image pickup device 16 one by one
  • FIG. 4 is an enlarged view of the main part of FIG.
  • a light beam that passes through the exit pupil enters a pixel (photodiode PD) of a normal image pickup device through the microlens L without being restricted.
  • a light shielding member 16A is formed on the main pixel PDa and the sub pixel PDb of the image sensor 16, and the right half or the left half of the light receiving surface of the main pixel PDa and the sub pixel PDb is shielded by the light shielding member 16A.
  • the light shielding member 16A functions as a pupil division member.
  • the main pixel PDa group and the sub-pixel PDb group are composed of light receiving elements PDa and PDb arranged two-dimensionally, and the main pixel PDa and the sub-pixel PDb are adjacent to each other in the image sensor 16. Are arranged.
  • the signal charge accumulated in the image sensor 16 is read out as a voltage signal corresponding to the signal charge based on the read signal applied from the image sensor control unit 32.
  • the image sensor 16 of this example has a pixel addition function, and when pixel addition is instructed via the image sensor control unit 32 under the control of the CPU 40, pixel addition is performed according to the instruction. In the DR mode, the charge (pixel value) of the main pixel exposed at different exposure times and the charge (pixel value) of the sub-pixel are added.
  • the voltage signal read from the image sensor 16 is applied to the analog signal processing unit 18 where the R, G, and B signals for each pixel are sampled and held, and the gain designated by the CPU 40 (corresponding to ISO sensitivity). And then added to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the EEPROM 56 is a non-volatile memory that stores a camera control program, defect information of the image sensor 16, various parameters and tables used for image processing, a program diagram, and the like.
  • the main pixel data read from the main pixels of the odd-numbered lines of the image sensor 16 are processed as a left viewpoint planar image (hereinafter referred to as “left image”), and the sub-lines of the even-numbered lines are processed.
  • the sub-pixel data read from the pixel is processed as a right viewpoint planar image (hereinafter referred to as “right image”).
  • the left image and right image processed by the digital signal processing unit 24 are input to the VRAM 50.
  • the VRAM 50 includes an A area and a B area each storing 3D image data representing a 3D image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is encoded by the video encoder 28 and is output to a stereoscopic display liquid crystal monitor 30 (LCD) provided on the rear surface of the camera, whereby a 3D subject image is displayed on the liquid crystal monitor 30. Displayed on the display screen.
  • LCD stereoscopic display liquid crystal monitor 30
  • the liquid crystal monitor 30 is a stereoscopic display unit capable of displaying stereoscopic images (left image and right image) as directional images having predetermined directivities by a parallax barrier, but is not limited thereto, and a lenticular lens is used.
  • the left image and the right image may be viewed separately by using what is used or wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses.
  • the image sensor 16 starts the AF operation and the AE operation, and the focus lens in the photographing lens 12 via the lens driving unit 36. Is controlled to be in the in-focus position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central part and the peripheral part of the screen, and outputs the integrated value (AE evaluation value) to the CPU 40.
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, and a predetermined signal including generation processing (YC processing) of luminance data and color difference data of the image data is performed here. Processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again. Subsequently, the two pieces of YC data are respectively output to the compression / decompression processing unit 26 and subjected to predetermined compression processing such as JPEG (joint photographic experts group), and then stored in the memory 48 again.
  • predetermined compression processing such as JPEG (joint photographic experts group
  • FIG. 5 is a block diagram illustrating details of a main part of the imaging apparatus 10.
  • the same reference numerals are given to the components shown in FIG. 1, and the description of the already described items is omitted below.
  • the CPU 40 includes a shooting mode setting control unit 62, an AE control unit 64, an AF control unit 66, a shooting execution control unit 68, and an aperture control unit 70.
  • the shooting mode setting control unit 62 receives a shooting mode setting input via the operation unit 38 and stores the received shooting mode in the memory 48.
  • the shooting mode includes a 3D shooting mode for acquiring a 3D image (stereoscopic image) and a 2D shooting mode for acquiring a 2D image (planar image). Further, the 2D shooting mode includes a DR mode (DR shooting mode) and an SN mode (SN shooting mode).
  • DR shooting mode DR shooting mode
  • SN shooting mode SN shooting mode
  • the DR mode In the DR (wide dynamic range) mode, exposure is performed on the main pixel and sub-pixel of the image sensor 16 with different exposure times, and charges (pixel values) are added between a plurality of pixels having different exposure times.
  • a wide dynamic range 2D image DR image
  • the DR mode is a special 2D shooting mode, and is different from the 2D shooting mode (2D normal mode) using one pixel value of the main pixel group and the sub pixel group.
  • a 2D image is generated using both pixel values (pixel data).
  • the main pixel and the sub-pixel of the image sensor 16 are exposed for the same exposure time, and charges (pixel values) are added between a plurality of pixels having the same exposure time.
  • a bright image for example, a 3D image
  • signal gain increase amplification
  • charges are added between a plurality of pixels having the same exposure time. Therefore, a bright image with little noise can be obtained.
  • pixel addition is performed between pixels having the same exposure time, so that the influence of image misalignment (false resolution) is eliminated.
  • the AE control unit 64 performs AE control in accordance with the control of the aperture control unit 70 described later, calculates an EV value (subject brightness) based on the integrated value output from the AE detection unit 44, and controls the aperture control unit 70. According to the control, the aperture value of the aperture 14, the presence / absence of insertion of the ND filter 15 (inserted state / non-inserted state), and the shutter speed of the image sensor 16 are determined based on the EV value, and the aperture is driven based on the determined aperture value.
  • the diaphragm 14 is controlled via the unit 34, the insertion state / non-insertion state of the ND filter 15 is switched via the filter insertion / extraction drive unit 33 based on the determined presence / absence of the ND filter 15, and based on the determined shutter speed.
  • the exposure time (charge accumulation time) in the image sensor 16 is controlled via the image sensor controller 32.
  • the AF control unit 66 performs contrast AF processing or phase difference AF processing by controlling the AF processing unit 42. During this AF control, the subject distance of the focused subject is acquired from the AF processing unit 42.
  • the imaging execution control unit 68 controls charge accumulation and charge (pixel data) reading in the image sensor 16 via the image sensor control unit 32, and controls the left image and sub-pixel group of the pixel data of the main pixel group. A right image composed of pixel data is acquired.
  • the imaging execution control unit 68 controls the image sensor 15 via the image sensor control unit 32, and the image sensor 15 adds the pixel values of the main pixel and the sub-pixel (main sub-pixel addition).
  • the shooting execution control unit 68 captures a subject with the image sensor 16, acquires a 3D image (stereoscopic image) including a set of a left image and a right image, and uses the 3D image as a medium. Recording is performed on the recording medium 54 via the I / F 52. In the case of shooting in the SN mode, a 3D image obtained by adding pixels between main pixels and sub-pixels is generated and recorded on the recording medium 54.
  • the shooting execution control unit 68 causes the main pixel group and the sub pixel group of the image sensor 16 to perform exposure for the same exposure time, and the pixel data of the main pixel group and the pixel data of the sub pixel group By performing this pixel addition, a single noise-reduced planar image is generated and recorded on the recording medium 54 via the media I / F 52.
  • the shooting execution control unit 68 causes the main pixel group and the sub-pixel group of the image sensor 16 to perform exposures with different exposure times, and sets the pixel data of the main pixel group and the pixel data of the sub-pixel group. By performing this pixel addition, a single planar image with a wide dynamic range (wide dynamic range image) is generated and recorded on the recording medium 54 via the media I / F 52.
  • the aperture control unit 70 switches the aperture value (F value) of the aperture 14 by the aperture drive unit 34 in accordance with an instruction from the imaging execution control unit 68.
  • the aperture control unit 70 switches between the insertion state and the non-insertion state of the ND filter 15 by the filter insertion / extraction driving unit 33 in accordance with an instruction from the imaging execution control unit 68.
  • the inserted state is a state in which the ND filter 15 is inserted in the optical path 13 (on the optical axis)
  • the non-inserted state is a state in which the ND filter 15 is removed from the optical path 13.
  • the number of ND filters 15 may be plural, and in the case of plural, the number of insertions is controlled.
  • the aperture control unit 70 sets the aperture device 70 to the open state (the aperture value is the minimum value) during SN mode imaging, and the ND filter 15 is applied to the imaging lens 12 based on the subject brightness acquired by the AE control unit 64. To the insertion state inserted into the optical path 13 from the imaging device 16 to the imaging device 16 or to a non-insertion state is controlled.
  • the aperture control unit 70 of the present embodiment makes the aperture value of the aperture 14 larger than the aperture value at the time of capturing a stereoscopic image (in this example, the SN mode) at the time of shooting in the DR mode, and the ND filter 15 is set. Set to the non-insert state.
  • FIG. 6 is a flowchart showing a flow of an imaging process example in the first embodiment. This process is executed by the CPU 40 according to a program.
  • step S2 the AE control unit 64 performs AE processing.
  • Subject brightness (EV value) is calculated by this AE process.
  • step S4 the AF control unit 66 performs AF (automatic focusing) processing.
  • AF automatic focusing
  • the subject distance of the focused main subject is acquired.
  • step S6 the shooting mode is determined.
  • the shooting modes are limited to the DR mode and the SN mode and will be described below.
  • the SN mode of this example a 3D image with pixel addition is generated.
  • step S8 If the shooting mode is the SN mode, the process proceeds to step S8. If the shooting mode is the DR mode, the process proceeds to step S14.
  • step S8 it is determined whether or not the subject brightness acquired by the AE control unit 64 is larger than the threshold value Tev.
  • step S10 the aperture controller 70 opens the aperture 14 by the aperture driver 34 and the ND filter 15 by the filter insertion / extraction driver 33. Is set to the inserted state.
  • the aperture control unit 70 opens the aperture 14 with the aperture drive unit 34 and the ND filter 15 with the filter insertion / extraction drive unit 33 in step S12. Is not inserted.
  • step S14 the aperture control unit 70 sets the aperture value (F value) of the aperture 14 to a specified value or more via the aperture drive unit 34, and the filter insertion / extraction drive unit 33 performs an ND filter. 15 is put into a non-insertion state.
  • the specified value of the aperture value is an aperture value in which the false image caused by parallax is within an allowable range by bringing the imaging position of the same subject closer in the left image and the right image than in 3D shooting.
  • the specified value varies depending on the subject distance, the focal length, the stereoscopic environment (display screen size, display screen resolution, viewing distance, etc.), the user's stereoscopic fusion limit, etc. This value is larger than that in the SN mode and 3D shooting.
  • the diaphragm control unit 70 squeezes the diaphragm 14 by one or more stages with respect to the opening, for example.
  • an aperture value that is one or more steps larger than that at the time of shooting in the SN mode (open) is set, such as F4 or more when the opening is F2.8 and F8 or more when the opening is F5.6.
  • F4 or more when the opening is F2.8 and F8 or more when the opening is F5.6 is set, such as F4 or more when the opening is F2.8 and F8 or more when the opening is F5.6.
  • F4 or more when the opening is F2.8 and F8 or more when the opening is F5.6 When the subject brightness is high (bright), it is desirable to reduce it by two or more steps.
  • step S ⁇ b> 16 the imaging execution control unit 68 controls the exposure of the image sensor 16 via the image sensor control unit 32.
  • the imaging execution control unit 68 controls the exposure of the image sensor 16 via the image sensor control unit 32.
  • the DR mode exposure is performed with different exposure times for the main pixel and the sub-pixel, and pixel addition is performed between the main pixel and the sub-pixel.
  • the SN mode all pixels are exposed with the same exposure time, and pixel addition is performed.
  • step S18 the imaging execution control unit 68 controls reading of pixel data (charge) from the main pixel and the sub-pixel of the image sensor 16 via the image sensor control unit 32.
  • the read signal is converted from analog to digital by the A / D converter 20.
  • step S20 the digital signal processing unit 24 or the like performs predetermined digital signal processing on the left image and the right image.
  • step S22 the compression / decompression processing unit 26 performs image compression.
  • step S24 a 3D image or a 2D image (in this example, a DR mode 2D image or an SN mode 2D image) is recorded on the recording medium 54 by the media I / F 52.
  • the diaphragm 14 (a diaphragm device) is always used.
  • a gradation failure occurs in a 2D image obtained by adding pixels because a light beam from the same subject passes through different pupil positions of the photographing lens 12 and an image of the same subject is formed at a different position of the image sensor 16.
  • the imaging device 10 uses the aperture 14 (aperture device) to stop, the breakdown of the gradation is solved by approaching the imaging position.
  • the aperture 14 (aperture device) is opened and whether or not the ND filter 15 is inserted is controlled based on the subject luminance, so that the luminance can be adjusted.
  • the DR mode and SN mode have been described above, but it goes without saying that shooting may be performed in other modes.
  • the ND filter 15 may be inserted or the diaphragm 14 may be switched by a setting input of the operation unit 38.
  • the aperture control unit 70 controls whether or not to put the ND filter 15 in the insertion state based on the subject distance of the main subject acquired by the AF control unit 66 during shooting in the DR mode. For example, when the subject distance of the focused main subject is larger than the threshold Ts (when the main subject is far) during DR mode shooting, the aperture 14 is set to the open state (the aperture value is the minimum value). When the subject distance of the focused main subject is equal to or smaller than the threshold Ts (when the main subject is close), the aperture value of the aperture 14 is increased to a specified value and the ND filter 15 is not inserted.
  • FIG. 6 is a flowchart showing a flow of imaging processing according to the second embodiment.
  • Steps S2 to S12 are the same as in the first embodiment.
  • step S13a the aperture control unit 70 determines whether or not the subject distance of the main subject acquired by the AF control unit 66 is greater than the threshold Ts.
  • step S14 If the subject distance is less than or equal to the threshold Ts (when the main subject is near), the process proceeds to step S14. If the subject distance is greater than the threshold Ts (when the main subject is far), the process proceeds to step S15.
  • Step S14 is the same as that in the first embodiment. That is, the aperture control unit 70 sets the aperture value (F value) of the aperture 14 to a specified value or more by the aperture drive unit 34 and puts the ND filter 15 in the non-insertion state by the filter insertion / extraction drive unit 33.
  • step S15 the aperture control unit 70 sets the aperture 14 to the open state by the aperture drive unit 34, and determines whether the ND filter 15 is to be inserted by the filter insertion / extraction drive unit 33 based on the subject brightness. Switch between.
  • the aperture 14 is opened even in the DR mode.
  • the aperture value is the minimum value
  • the deterioration of the image quality due to the diffraction is prevented. To do.
  • the subject distance is acquired by the AF control unit 66 along with the AF control
  • the subject distance may be directly detected by a distance sensor or the like.
  • FIG. 7 is a block diagram illustrating a main part of the imaging apparatus 10 according to the third embodiment.
  • the components shown in FIGS. 1 and 5 are denoted by the same reference numerals.
  • the photographing lens 12 has a zoom lens, and the focal length acquisition unit 72 acquires the focal length of the photographing lens 12.
  • the diaphragm control unit 70 controls whether or not to put the ND filter 15 in the insertion state based on the focal length of the photographing lens 12 acquired by the focal length acquisition unit 72 during shooting in the DR mode. For example, when shooting in the DR mode, if the focal length is larger than the threshold Tz (when the focal length is long), the aperture value of the aperture 14 is increased to a specified value, and the ND filter 15 is not inserted, and the focal length is set. Is equal to or smaller than the threshold Tz (when the focal length is short), the diaphragm 14 is set to the open state (the diaphragm value is the minimum value).
  • FIG. 8 is a flowchart showing a flow of imaging processing according to the third embodiment.
  • Steps S2 to S12 are the same as in the first embodiment.
  • step S13b it is determined whether or not the focal length of the photographing optical system 12 acquired by the focal length acquisition unit 72 is larger than the threshold value Tz.
  • step S14 If the focal distance is greater than the threshold Tz (when the focal distance is long), the process proceeds to step S14. If the focal distance is equal to or less than the threshold Tz (when the focal distance is short), the process proceeds to step S15.
  • Steps S14 to S24 are the same as in the first embodiment.
  • the aperture 14 is set to the open state (the aperture value is the minimum value) even in the DR mode.
  • the ND filter 15 is used for dimming. Therefore, it is possible to perform shooting with a constant depth of field.
  • the manner of acquiring the focal length is not particularly limited.
  • the movement of the zoom lens of the photographic lens 12 may be detected directly, the focal length may be detected, the zoom lens drive signal in the lens driving unit 36 may be monitored to determine the focal length, or the focal length may be obtained by image processing. You may ask for.
  • FIG. 10 is a flowchart showing the flow of the shooting mode setting process common to the first to third embodiments. This process is executed by the shooting mode setting control unit 62.
  • the imaging device 10 When the power is turned on, the imaging device 10 enters a standby state. In the standby state, the operation unit 38 can accept a shooting mode setting input operation.
  • step S52 it is determined which of the 2D shooting mode and the 3D shooting mode is to be set.
  • a setting instruction operation for determining whether to expand the dynamic range is accepted. It is determined whether the dynamic range is expanded (step S54). If Yes, the DR mode is set (step S56), and if No, the SN mode is set (step S58).
  • the 3D normal mode is set (step S62).
  • DR mode and SN mode are as described in the first embodiment, and pixel addition is performed at the time of shooting.
  • pixel addition is performed at the time of shooting.
  • 3D normal mode a stereoscopic image including a left image and a right image is recorded without pixel addition.
  • this invention is not specifically limited in such a case, this invention is not specifically limited in such a case, You may set DR mode and SN mode automatically. For example, when the live view image (through image) is displayed, the subject brightness is acquired, and in the 2D shooting mode, when the subject brightness is bright and the dynamic range is less than the threshold, the DR mode is automatically selected. May be.
  • the shooting mode is not particularly limited to the mode illustrated in FIG. 10, and it goes without saying that other modes may be provided.
  • a mode for generating a high-resolution 2D image having a higher resolution than each viewpoint image may be provided.
  • the pupil division method is not particularly limited to the mode using the pupil division light shielding member 16A shown in FIGS.
  • the pupil may be divided according to the arrangement or shape of at least one of the microlens L and the photodiode PD, or the pupil may be divided by the mechanical diaphragm 14. Other modes may be used.
  • the image sensor 16 is not particularly limited to a CCD image sensor.
  • a CMOS image sensor may be used.
  • the arrangement of the imaging pixels in the imaging device 16 is not limited when the honeycomb arrangement shown in FIG. 2 is used.
  • a Bayer arrangement schematically showing a part of the arrangement in FIG. 11A or B may be used.
  • the pixel array (main pixel array) as the entire even-numbered column and the pixel array (sub-pixel array) as the entire odd-numbered column are both Bayer arrays, which is a double Bayer array.
  • R, G, and B are imaging pixels having red, green, and blue filters, respectively, and are adjacent to two pixels RR, GG, and BB (ie, neighboring pixels).
  • a pixel pair is composed of the same color pixels).
  • a pixel of the left image is constituted by one pixel data of the pixel pair, and a pixel of the right image is constituted by the other pixel data.
  • the present invention is not particularly limited to such a case.
  • the present invention can also be applied when pixel addition is performed outside the imaging pixel 16. That is, in the DR mode, pixel addition may be performed after the left image and the right image captured at different exposure times are acquired from the image sensor 16.
  • the SN mode may also be performed outside the image sensor 16.
  • the specified value of the diaphragm 14 is, for example, monitor size (display screen size), monitor resolution (display screen resolution), viewing distance (distance to view the display screen), user's It is calculated by the CPU 40 based on calculation conditions such as the stereoscopic fusion limit (there is an individual difference). These calculation conditions may be set either by user setting or automatic setting. In the case of user setting, setting operation is performed by the operation unit 38 and the setting content is stored in the EEPROM 56.
  • the monitor size and monitor resolution (display screen resolution) may be automatically acquired from a monitor (LCD 30 in FIG. 1) or the like. Further, standard conditions may be applied to calculation conditions that are not set by the user (or calculation conditions that cannot be automatically acquired).
  • the pupil division is not particularly limited when the image pickup device 16 (a structure in which the main pixel and the sub-pixel are arranged close to each other) as shown in FIGS. 2 to 4 is used.
  • the image pickup device 16 a structure in which the main pixel and the sub-pixel are arranged close to each other
  • the light beam that has passed through the left and right regions of the main lens 1 and the relay lens 2 is divided into pupils by the mirror 4 and imaged on the image sensors 7 and 8 via the imaging lenses 5 and 6, respectively. You may make it do. That is, the first imaging element 7 having the first pixel group and the second imaging element 8 having the second pixel group each receiving the light beam divided by the optical member (mirror 4) is provided.
  • An imaging device may be used.
  • the present invention can also be applied to the configuration shown in FIG.
  • DESCRIPTION OF SYMBOLS 10 ... Imaging device, 12 ... Imaging lens, 13 ... Optical path, 14 ... Aperture, 15 ... ND filter (attenuation filter), 16 ... Imaging device, 40 ... CPU, 62 ... Shooting mode setting control part, 64 ... AE control part (Subject brightness acquisition means), 66... AF control section (Subject distance acquisition means), 68... Shooting execution control section, 70... Aperture control section, 72.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

瞳分割に因る結像ズレを低減して偽解像を改善することで、広ダイナミックレンジ画像の品質を向上させること。単一の撮影レンズ１２の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子１６を備え、ＳＮモード（第１の平面撮影モード）の撮影時には、撮像素子１６の第１の画素群と第２の画素群とに同一露光時間の露光を行わせて画素加算を行い、ＤＲモード（第２の平面撮影モード）の撮影時には、撮像素子１６の第１の画素群と第２の画素群とに異なる露光時間の露光を行わせて画素加算を行う撮影実行制御部６８と、撮像素子１６に入射する光束が通過する光路中に配置された絞り１４と、ＤＲモードの撮影時にはＳＮモードの撮影時よりも絞り１４の絞り値よりも大きくする絞り制御部７０を備えた。

Description

撮像装置および撮像方法
　本発明は、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置および撮像方法に関する。
　従来、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置が知られている。
　特許文献１には、単一の撮影光学系を備え、絞りを回転させることで瞳分割を行なって、立体視画像を生成する構成が開示されている。
　特許文献２には、偏光素子を設け、光路別に撮像素子に受光させることで、単一の撮影光学系で位相情報を得る構成が開示されている。
　特許文献３には、単一の撮影光学系と、その単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１画素群および第２画素群を配列した撮像素子とを備え、第１画素群により得られた平面画像および第２画素群により得られた平面画像からなる立体視画像を生成する撮像装置が開示されている。
　特許文献４には、特許文献３に記載の撮像装置において、第１画素の出力と第２画素の出力とを加算することが記載されている。
　特許文献５には、複数の撮影光学系を備えた複眼撮像装置において、２Ｄ動画、３Ｄ動画それぞれの撮影用に設定された周期で露出制御を行う構成が開示されている。３Ｄ動画撮影では、深度を変えないため、メカ絞りをできるだけ動かさない。
特表２００９－５２７００７号公報 特開２００９－１６８９９５号公報 特開平１０－４２３１４号公報 特開２００８－２９９１８４号公報 特開２００８－１８７３８５号公報
　単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置（以下「単眼３Ｄ撮像装置」という）では、複数視点の平面画像から一枚の広ダイナミックレンジの平面画像を生成しようとすると、非合焦部分で階調が破綻してしまう。このような階調破綻のしくみについて、以下説明する。
　まず、図１２Ａを用いて、瞳分割をしない単眼撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明しておく。撮像素子１６に結像された３つの像９１ａ、９２ａ、９３ａのうち、撮像素子１６で焦点が合うのは、合焦面Ｄ上にある被写体９２の像９２ａだけである。被写体９１の撮影レンズ１２からの距離は合焦面Ｄよりも遠く、その合焦像９１ｄは撮像素子１６よりも撮影レンズ１２に近いところに形成されるので、被写体９１の像９１ａは焦点が合わずにぼやけた像、すなわちボケた像となる。また、被写体９３の撮影レンズ１２からの距離は合焦面Ｄよりも近く、その合焦像９３ｄは撮像素子１６よりも撮影レンズ１２から遠いところに形成されるので、被写体９３の像９３ａも焦点が合わずにボケた像となる。
　次に、瞳分割の単眼３Ｄ撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明する。本例の単眼３Ｄ撮像装置では、図１２Ｂに示すように撮影レンズ１２の瞳をシャッタ９５によって上方のみに制限した状態と、図１２Ｃに示すように撮影レンズ１２の瞳をシャッタ９５によって下方のみに制限した状態とがある。このような単眼３Ｄ撮像装置における撮像素子１６上の像のボケ量（像の焦点が合っていない量）および位置は、図１２Ａに示した単眼撮像装置と異なる。即ち、図１２Ｂに示した状態では、図１３Ｂに示すように、被写体９１の像９１ｂは、瞳分割なしの場合（図１３Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体９３の像９３ｂは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図１３Ｃに示した状態では、図１３Ｃに示すように、被写体９１の像９１ｃは、瞳分割なしの場合（図１３Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体９３の像９３ｃは、ボケ量が小さくなり且つ位置が図中の下側に移動する。
　このような単眼３Ｄ撮像装置において、図１３Ｂに示した画像と図１３Ｃに示した画像とでは、像９１ｂと像９１ｃ、像９３ｂと像９３ｃとで、結像位置がズレている。即ち、高解像度平面画像の撮影の際、同一被写体からの光束が撮影レンズ１２の異なる瞳位置を通過することで、同一被写体の像が撮像素子１６の異なる位置に結像することになる。従って、異なる露光時間で露光して得られた二つの平面画像を画素加算すると、視差に起因した階調の破綻が発生するという問題がある。
　特許文献１～５には、視差に起因した階調の破綻を改善することができる構成について、開示がない。
　なお、特許文献４に記載の構成では、広ダイナミックレンジの画像を生成することができない。また、単純に近傍画素同士で画素加算を行なうだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、２画素混合の場合には、解像度が１／２に低下してしまうことになる。
　特許文献５に記載の構成は、複眼方式であるため、小絞りにしても結像ズレは発生せず、また、絞りを切り替えないことに主眼が置かれている。
　本発明はこのような事情に鑑みてなされたもので、瞳分割に因る結像ズレを低減して、広ダイナミックレンジ画像の品質を向上させることができる撮像装置および撮像方法を提供することを目的とする。
　前記目的を達成するために、本発明は、単一の撮影光学系と、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子とを備え、第１の画素群および第２の画素群により同一のシーンを撮像して第１の画素群の画素データおよび第２の画素群の画素データからなる立体視画像を生成可能な撮像装置であって、第１の画素群の画素データと第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付ける撮影モード設定手段と、第１の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに同一露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算を行うことで平面画像を取得し、第２の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに異なる露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得する撮影実行制御手段と、撮像素子に入射する光束が通過する光路中に配置された絞り装置と、第２の平面撮影モードの撮影時には、絞り装置の絞り値を第１の平面撮影モードの撮影時の絞り値よりも大きくする絞り制御手段と、を備えたことを特徴とする撮像装置を提供する。
　即ち、第２の平面撮影モード（ＤＲモード）の撮影時には、第１の平面撮影モードの撮影時よりも絞り装置の絞り値を大きくするので、瞳分割に因る結像ズレが低減し、広ダイナミックレンジの平面画像の品質を向上させることが可能となる。
　なお、絞り装置は、撮影光学系と撮像素子との間に配置されている場合には限定されず、撮影光学系が複数のレンズ（レンズ群）によって構成され、レンズ群の中に配置されている場合もある。
　本発明の一実施形態では、第１の画素群と第２の画素群は２次元に配列されている受光素子からなり、撮像素子には第１の画素群の各画素と第２の画素群の各画素とが互いに隣接して配置されていることが好ましい。
　本発明の一実施形態では、撮影光学系を通過した光束を分割する光学部材を備え、撮像素子は、光学部材により瞳分割された光束をそれぞれ受光する第１の画素群を有した第１の撮像素子と第２の画素群を有した第２の撮像素子とによって構成されていることが好ましい。
　本発明の一実施形態では、第１の平面撮影モードの撮影の場合、絞り制御手段は、絞り装置を開放状態にすることが好ましい。
　また、本発明の一実施形態では、撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段と、を備え、絞り制御手段は、第１の平面撮影モードの撮影時に、被写体輝度取得手段により取得された被写体輝度に基づいて、減光フィルタを光路中に挿入するか否かを制御することが好ましい。
　即ち、第１の平面撮影モード（ＳＮモード）の撮影時には、絞りに因る回析を回避して更に高品位の画像を得ることができる。
　なお、減光フィルタは、撮影光学系と撮像素子との間に配置されている場合には限定されず、撮影光学系が複数のレンズ（レンズ群）によって構成され、レンズ群の中に配置されている場合もある。
　本発明の一実施形態では、被写体距離を取得する被写体距離取得手段を備え、絞り制御手段は、第２の平面撮影モードの撮影時に、被写体距離取得手段により取得された被写体距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。
　本発明の一実施形態では、絞り制御手段は、第２の平面撮影モードの撮影時に、被写体距離が閾値よりも大きい場合には、絞り装置を開放状態にすることが好ましい。
　即ち、第２の平面撮影モード（ＤＲモード）の撮影時でも、被写体距離が大きい場合には、結像ズレが少ないため、絞り装置を開放状態にすることで、絞りに因る回析を回避して更に高品位の広ダイナミックレンジ画像を得ることができる。
　本発明の一実施形態では、撮影光学系の焦点距離を取得する焦点距離取得手段を備え、絞り制御手段は、第２の平面撮影モードの撮影時に、焦点距離取得手段により取得された焦点距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。
　本発明の一実施形態では、記絞り制御手段は、第２の平面撮影モードの撮影時に、焦点距離が閾値以下の場合には、絞り装置を開放状態にすることが好ましい。
　即ち、第２の平面撮影モード（ＤＲモード）の撮影時でも、撮影光学系の焦点距離が小さい場合には、結像ズレが少ないため、絞り装置を開放状態にすることで、絞りに因る回析を回避して更に高品位の広ダイナミックレンジ画像を得ることができる。
　本発明の一実施形態では、絞り制御手段は、第２の平面撮影モードの撮影時に、絞り装置を開放状態にした場合には、被写体輝度に基づいて、減光フィルタを挿入状態にするか否かを切り替えることが好ましい。
　即ち、第２の平面撮影モード（ＤＲモード）の撮影時に、絞り装置を開放状態にした場合でも、減光フィルタにより輝度調整を行なって、更に高品位の画像を得ることが可能となる。
　また、本発明は、単一の撮影光学系と、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子と、撮像素子に入射する光束が通過する光路中に配置された絞り装置を用い、第１の画素群および第２の画素群により同一のシーンを撮像して第１の画素群の画素データおよび第２の画素群の画素データからなる平面画像を取得する生成撮像方法であって、第１の画素群の画素データと第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付けるステップと、第２の平面撮影モードの撮影の場合に、絞り装置の絞り値を第１の平面撮影モードの撮影時の絞り値よりも大きくするステップと、第１の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに同一露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算を行ことで平面画像を取得し、第２の平面撮影モードの撮影の場合には、撮像素子の第１の画素群と第２の画素群とに異なる露光時間の露光を行わせて第１の画素群の画素データと第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得するステップと、を含む撮像方法を提供する。
　本発明の一実施形態では、第１の平面撮影モードの撮影の場合、絞り装置を開放状態にすることが好ましい。
　本発明の一実施形態では、撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段とを用い、第１の平面撮影モードの撮影時に、被写体輝度取得手段により取得された被写体輝度に基づいて、減光フィルタを光路中に挿入するか否かを制御することが好ましい。
　本発明の一実施形態では、被写体距離を取得する被写体距離取得手段を用い、第２の平面撮影モードの撮影時に、被写体距離取得手段により取得された被写体距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。
　本発明の一実施形態では、第２の平面撮影モードの撮影時に、被写体距離が閾値よりも大きい場合には、絞り装置を開放状態にすることが好ましい。
　本発明の一実施形態では、撮影光学系の焦点距離を取得する焦点距離取得手段を用い、第２の平面撮影モードの撮影時に、焦点距離取得手段により取得された焦点距離に基づいて、絞り装置を開放状態にするか否かを切り替えることが好ましい。
　本発明の一実施形態では、第２の平面撮影モードの撮影時に、焦点距離が閾値以下の場合には、絞り装置を開放状態にすることが好ましい。
　本発明の一実施形態では、第２の平面撮影モードの撮影時に、絞り装置を開放状態にした場合には、被写体輝度に基づいて、減光フィルタを挿入状態にするか否かを切り替えることが好ましい。
　本発明によれば、瞳分割に因る結像ズレを低減して偽解像を改善することで、広ダイナミックレンジ画像の品質を向上させることができる。
本発明に係る撮像装置のハードウェア構成例を示すブロック図 撮像素子の構成例を示す図 撮像画素を示した図 図３の要部拡大図 第１実施形態における撮像装置の要部ブロック図 第１実施形態における撮像処理例の流れを示すフローチャート 第２実施形態における撮像処理例の流れを示すフローチャート 第３実施形態における撮像装置の要部ブロック図 第３実施形態における撮像処理例の流れを示すフローチャート 撮影モード設定処理の流れを示すフローチャート ベイヤ配列の例を示す模式図 本発明の課題の説明に用いる説明図であって、図１２Ａは瞳分割なしの撮像系の要部を示す説明図、図１２Ｂおよび図１２Ｃは瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図 本発明の課題の説明に用いる説明図であって、図１２Ａは瞳分割なしの撮像系での結像の様子を示す模式図、図１２Ｂおよび図１２Ｃは瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図 瞳分割の他の例を示す説明図
　以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
　＜撮像装置の全体構成＞
　図１は本発明に係る撮像装置１０の実施の形態を示すブロック図である。
　この撮像装置１０は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、ＤＲモード、ＳＮモード等の撮影モードを選択する選択手段である。
　再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（撮影光学系）、絞り１４を介して撮像素子１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。
　絞り１４は、撮像素子１６に入射する光束が通過する光路１３中に配置され、例えば、５枚の絞り羽根からなる。絞り１４は、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4～Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。なお、図１には、撮影レンズ１２と撮像素子１６と間に絞り１４を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ１２が複数のレンズ（あるいは複数のレンズ群）によって構成され、撮影レンズ１２の中に絞り１４が配置されている場合もある。
　ＮＤフィルタ１５（減光フィルタ）は、撮像素子１６に入射する光量を減少させるデバイスであり、撮像素子１６に入射する光束が通過する光路１３中に挿入可能である。なお、図１には、撮影レンズ１２と撮像素子１６との間にＮＤフィルタ１５を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ１２が複数のレンズ（あるいは複数のレンズ群）によって構成され、撮影レンズ１２の中にＮＤフィルタ１５が配置されている場合もある。
　ＮＤフィルタ１５は、フィルタ挿抜駆動部３３により、光路１３中に挿入された挿入状態と、光路１３から外れた非挿入状態とが切り替えられる。ＮＤフィルタ１５の枚数は、特に限定されない。複数枚（例えば５枚）のフィルタにより構成されていてもよい。
　ＣＰＵ４０は、撮像素子制御部３２を介して撮像素子１６での露光時間（電荷蓄積時間）や撮像素子１６での画像信号の読み出しを制御する。また、ＣＰＵ４０は、撮像素子制御部３２を介して撮像素子１６での画素加算を制御する。また、ＣＰＵ４０は、フィルタ挿抜制御部３３を介して、ＮＤフィルタ１５の挿入状態および非挿入状態を切り替える。また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御する。
　＜単眼３Ｄ撮像素子の構成例＞
　図２は撮像素子１６の構成例を示す図である。
　撮像素子１６は、それぞれマトリクス状に配列された奇数ラインの撮像画素（以下「主画素」という）と、偶数ラインの撮像画素（以下「副画素」という）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
　図２に示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの２分の１ピッチだけライン方向にずれて配置されている。即ち、撮像素子１６の画素配列は、ハニカム配列となっている。
　図３は撮影レンズ１２、絞り１４、及び撮像素子１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。
　図４Ａに示すように通常の撮像素子の画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
　これに対し、撮像素子１６の主画素ＰＤａ及び副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。図４Ａに示すように、主画素ＰＤａ群と副画素ＰＤｂ群とは２次元に配列されている受光素子ＰＤａ、ＰＤｂからなり、撮像素子１６には主画素ＰＤａと副画素ＰＤｂとが互いに隣接して配置されている。
　尚、上記構成の撮像素子１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
　図１に戻って、撮像素子１６に蓄積された信号電荷は、撮像素子制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。本例の撮像素子１６は、画素加算機能を有しており、ＣＰＵ４０の制御により撮像素子制御部３２を介して画素加算を指示された場合、その指示に従って画素加算を行なう。ＤＲモードの場合、異なる露光時間で露光された主画素の電荷（画素値）と副画素の電荷（画素値）とを加算する。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、コントラスト強調、輪郭補正等の所定の信号処理を行う。
　また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。
　ここで、図２Ｂ及びＣに示すように、撮像素子１６の奇数ラインの主画素から読み出される主画素データは、左視点の平面画像（以下「左画像」という）として処理され、偶数ラインの副画素から読み出される副画素データは、右視点の平面画像（以下「右画像」という）として処理される。
　デジタル信号処理部２４で処理された左画像及び右画像は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
　この液晶モニタ３０は、立体視画像（左画像及び右画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像素子１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値（ＡＥ評価値）をＣＰＵ４０に出力する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左画像データ及び右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左画像データ及び右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。このＡＦ制御中に、ＡＦ処理部４２は、合焦した被写体の被写体距離を算出する。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左画像及び右画像の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。
　次に、本発明を第１実施形態～第３実施形態に分けて、以下説明する。
　＜第１実施形態＞
　図５は、撮像装置１０の要部の詳細を示すブロック図である。なお、図５において、図１に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。
　本実施形態の撮像装置１０において、ＣＰＵ４０は、撮影モード設定制御部６２、ＡＥ制御部６４、ＡＦ制御部６６、撮影実行制御部６８および絞り制御部７０を含んで構成されている。
　撮影モード設定制御部６２は、操作部３８により撮影モードの設定入力を受け付け、受け付けた撮影モードをメモリ４８に記憶する。
　撮影モードには、３Ｄ画像（立体視画像）を取得する３Ｄ撮影モードと、２Ｄ画像（平面画像）を取得する２Ｄ撮影モードがある。さらに、２Ｄ撮影モードには、ＤＲモード（ＤＲ撮影モード）とＳＮモード（ＳＮ撮影モード）とがある。
　ＤＲ（広ダイナミックレンジ）モードでは、撮像素子１６の主画素と副画素とで異なる露光時間の露光を行なって、これらの露光時間の異なる複数の画素間で電荷（画素値）を加算する。このＤＲモードの画素加算によれば、明るい撮影シーンでも広ダイナミックレンジの２Ｄ画像（ＤＲ画像）を得られる。即ち、ＤＲモードは、特別な２Ｄ撮影モードであって、主画素群および副画素群のうち一方の画素値を用いる２Ｄ撮影モード（２Ｄノーマルモード）とは異なり、主画素群および副画素群の両方の画素値（画素データ）を用いて２Ｄ画像を生成する。
　ＳＮ（ノイズ低減）モードでは、撮像素子１６の主画素と副画素とで同一露光時間の露光を行なって、これらの同一露光時間の複数の画素間で電荷（画素値）を加算する。このＳＮモードの画素加算によれば、暗い撮影シーンでも明るい画像（例えば３Ｄ画像）を得られる。もしもＳＮモードの画素加算ではなく信号のゲインアップ（増幅）を行ったとすると、そのゲインアップに伴いノイズも増大してしまうが、ＳＮモードでは同一露光時間の複数の画素間で電荷の加算を行なうため、ノイズが少なく且つ明るい画像を得られる。また、ＳＮモードでは、同一露光時間の画素間で画素加算を行なうので、結像ズレの影響（偽解像）が解消する。
　ＡＥ制御部６４は、後述の絞り制御部７０の制御に従ってＡＥ制御を行うものであり、ＡＥ検出部４４から出力される積算値に基づいてＥＶ値（被写体輝度）を算出し、絞り制御部７０の制御に従って、ＥＶ値に基づいて絞り１４の絞り値、ＮＤフィルタ１５の挿入有無（挿入状態／非挿入状態）、および撮像素子１６のシャッタ速度を決定し、決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御し、決定したＮＤフィルタ１５の挿入有無に基づいてフィルタ挿抜駆動部３３を介してＮＤフィルタ１５の挿入状態／非挿入状態を切り替え、決定したシャッタ速度に基づいて撮像素子制御部３２を介して撮像素子１６での露光時間（電荷蓄積時間）を制御する。
　ＡＦ制御部６６は、ＡＦ処理部４２を制御することで、コントラストＡＦ処理または位相差ＡＦ処理を行う。このＡＦ制御中に、合焦した被写体の被写体距離をＡＦ処理部４２から取得する。
　撮影実行制御部６８は、撮像素子制御部３２を介して撮像素子１６での電荷蓄積および電荷（画素データ）の読出しを制御して、主画素群の画素データからなる左画像と副画素群の画素データからなる右画像とを取得する。
　また、撮影実行制御部６８は、撮像素子制御部３２を介して撮像素子１５を制御し、撮像素子１５にて主画素と副画素との画素値の加算（主副画素加算）を行なう。
　３Ｄノーマルモードの撮影の場合、撮影実行制御部６８は、撮像素子１６により被写体を撮像して、左画像および右画像の組からなる３Ｄ画像（立体視画像）を取得し、その３Ｄ画像をメディアＩ／Ｆ５２を介して記録メディア５４に記録する。ＳＮモードの撮影の場合は、主画素同士および副画素同士で画素加算した３Ｄ画像を生成して、記録メディア５４に記録する。
　ＳＮモードの撮影の場合、撮影実行制御部６８は、撮像素子１６の主画素群と副画素群とに同一露光時間の露光を行わせて主画素群の画素データと副画素群の画素データとの画素加算を行うことで一枚のノイズ低減の平面画像を生成して、メディアＩ／Ｆ５２を介して記録メディア５４に記録する。ＤＲモードの撮影の場合、撮影実行制御部６８は、撮像素子１６の主画素群と副画素群とに異なる露光時間の露光を行わせて主画素群の画素データと副画素群の画素データとの画素加算を行うことで、一枚の広ダイナミックレンジの平面画像（広ダイナミックレンジ画像）を生成して、メディアＩ／Ｆ５２を介して記録メディア５４に記録する。
　絞り制御部７０は、撮影実行制御部６８の指示に従って、絞り駆動部３４により、絞り１４の絞り値（Ｆ値）を切り替える。また、絞り制御部７０は、撮影実行制御部６８の指示に従って、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５の挿入状態と非挿入状態とを切り替える。挿入状態は、ＮＤフィルタ１５が光路１３中（光軸上）に挿入された状態であり、非挿入状態は、ＮＤフィルタ１５が光路１３から外れた状態である。なお、ＮＤフィルタ１５の枚数は複数枚でもよく、複数枚の場合には挿入枚数を制御する。
　絞り制御部７０は、ＳＮモードの撮影時、絞り装置７０を開放状態（絞り値を最小値）にするとともに、ＡＥ制御部６４により取得された被写体輝度に基づいて、ＮＤフィルタ１５を撮影レンズ１２から撮像素子１６までの光路１３中に挿入した挿入状態にするか非挿入状態にするかを制御する。
　また、本実施形態の絞り制御部７０は、ＤＲモードの撮影時、絞り１４の絞り値を立体視画像の撮影時（本例ではＳＮモード）の絞り値よりも大きくするとともに、ＮＤフィルタ１５を非挿入状態にする。
　図６は、第１実施形態における撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ４０によりプログラムに従って実行される。
　ステップＳ２にて、ＡＥ制御部６４により、ＡＥ処理を行なう。このＡＥ処理にて被写体輝度（ＥＶ値）が算出される。
　ステップＳ４にて、ＡＦ制御部６６により、ＡＦ（自動合焦）処理を行なう。このＡＦ処理にて、合焦した主要被写体の被写体距離が取得される。
　ステップＳ６にて、撮影モードを判定する。
　なお、撮像装置１０の撮影モードは実際には各種あるが、本発明の特徴の理解を容易にするため、撮影モードをＤＲモードおよびＳＮモードに限定して説明して、以下説明する。なお、本例のＳＮモードでは画素加算の３Ｄ画像が生成される。
　撮影モードがＳＮモードである場合にはステップＳ８に進み、ＤＲモードである場合には、ステップＳ１４に進む。
　ＳＮモードの場合、ステップＳ８にて、ＡＥ制御部６４により取得された被写体輝度が、閾値Ｔｅｖよりも大きいか否かを判定する。
　被写体輝度が閾値Ｔｅｖよりも大きい場合（明るい場合）には、ステップＳ１０にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を挿入状態に設定する。
　被写体輝度が閾値Ｔｅｖ以下である場合（暗い場合）には、ステップＳ１２にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。
　ＤＲモードの場合、ステップＳ１４にて、絞り制御部７０は、絞り駆動部３４を介して絞り１４の絞り値（Ｆ値）を規定値以上に設定するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。
　ここで、絞り値の規定値は、左画像と右画像とで同一被写体の結像位置を３Ｄ撮影時よりも近づけることで、視差に起因した偽解像を許容範囲内とする絞り値である。なお、規定値は、被写体距離、焦点距離、立体視環境（表示画面のサイズ、表示画面の解像度、観視距離など）やユーザの立体視融合限界などによっても異なるが、絞り１４の絞り値をＳＮモードおよび３Ｄ撮影時よりも大きくさせる値である。
　絞り制御部７０は、例えば、絞り１４を開放に対して１段以上絞る。例えば、開放がＦ２．８の場合にはＦ４以上、開放がＦ５．６の場合にはＦ８以上といったように、ＳＮモードの撮影時（開放）よりも１段以上大きな絞り値を設定する。被写体輝度が大きい（明るい）場合には、２段以上絞ることが、望ましい。
　ステップＳ１６にて、撮影実行制御部６８は、撮像素子制御部３２を介して、撮像素子１６の露光を制御する。ＤＲモードの場合には、主画素と副画素とで異なる露光時間の露光を行なって、主画素と副画素との間で画素加算を行なう。ＳＮモードの場合には、全画素を同一の露光時間で露光を行って、画素加算を行なう。
　ステップＳ１８にて、撮影実行制御部６８は、撮像素子制御部３２を介して、撮像素子１６の主画素および副画素からの画素データ（電荷）の読み出しを制御する。読み出された信号はＡ／Ｄ変換器２０によりアナログからデジタルに変換される。
　ステップＳ２０にて、デジタル信号処理部２４等により、左画像および右画像に対し、所定のデジタル信号処理を行なう。
　ステップＳ２２にて、圧縮伸張処理部２６により、画像圧縮を行なう。
　ステップＳ２４にて、メディアＩ／Ｆ５２により、３Ｄ画像、または、２Ｄ画像（本例では、ＤＲモードの２Ｄ画像、または、ＳＮモードの２Ｄ画像）を、記録メディア５４に記録する。
　第１実施形態におけるＤＲモードの撮影では、必ず絞り１４（絞り装置）により絞る。従来は、同一被写体からの光束が撮影レンズ１２の異なる瞳位置を通過して同一被写体の像が撮像素子１６の異なる位置に結像することに因り、画素加算した２Ｄ画像に階調の破綻が発生していたが、本実施形態の撮像装置１０は、絞り１４（絞り装置）により絞るので、結像位置が近づくことで階調の破綻が解消される。また、ＳＮモードでは、絞り１４（絞り装置）を開放するとともに、被写体輝度に基づいてＮＤフィルタ１５を挿入状態にするか否かを制御するので、輝度調整を行なうことできる。
　以上、ＤＲモードとＳＮモードについて説明したが、他のモードで撮影してもよいことは、いうまでもない。
　なお、ＳＮモードにおいて、ＮＤフィルタ１５を挿入した状態とするか、絞り１４を絞るかを、操作部３８の設定入力により切り替え可能に構成してもよい。
　＜第２実施形態＞
　次に、第２実施形態の撮像装置について、図５を用いて説明する。なお、以下では、主として第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項はその説明を省略する。
　本実施形態の絞り制御部７０は、ＤＲモードの撮影時、ＡＦ制御部６６により取得された主要被写体の被写体距離に基づいて、ＮＤフィルタ１５を挿入状態にするか否かを制御する。例えば、ＤＲモードの撮影時、合焦した主要被写体の被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）には、絞り１４を開放状態（絞り値を最小値）に設定し、合焦した主要被写体の被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い場合）には、絞り１４の絞り値を規定値まで大きくするとともにＮＤフィルタ１５を非挿入状態にする。
　図６は、第２実施形態の撮像処理の流れを示すフローチャートである。
　ステップＳ２～Ｓ１２は、第１実施形態と同様である。
　ＤＲモードの場合、ステップＳ１３ａにて、絞り制御部７０は、ＡＦ制御部６６により取得された主要被写体の被写体距離が閾値Ｔｓよりも大きいか否かを判定する。
　被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い場合）にはステップＳ１４に進み、被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）にはステップＳ１５に進む。
　ステップＳ１４は、第１実施形態と同様である。即ち、絞り制御部７０は、絞り駆動部３４により、絞り１４の絞り値（Ｆ値）を規定値以上に設定するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。
　ステップＳ１５にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放状態に設定するとともに、被写体輝度に基づいて、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を挿入状態にするか否かを切り替える。
　以上のように、本実施形態では、合焦した主要被写体の被写体距離が大きい（被写体が遠い）場合、左画像と右画像とで結像ズレが少なくなるため、ＤＲモードでも、絞り１４を開放状態に設定する。絞りを小さくした場合には回析に因り画質が低下してしまうが、ＮＤフィルタ１５を挿入するとともに開放状態（絞り値を最小値）にすることで、回析に因る画質の低下を防止する。また、被写界深度を一定に維持した撮影が可能となる。なお、被写体距離が小さい場合には、前述の偽解像の影響が大きくなるため、回析は許容して絞り１４を絞ればよい。
　なお、被写体距離をＡＦ制御部６６によりＡＦ制御に伴って取得する場合を例に説明したが、このような場合には特に限定されず、例えば距離センサ等により直接的に検出してもよい。
　＜第３実施形態＞
　次に、第３実施形態の撮像装置について、図８を用いて説明する。なお、以下では、主として図５および図６に示した第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項はその説明を省略する。
　図７は、第３実施形態における撮像装置１０の要部を示すブロック図である。なお、図７において図１および図５に示した構成要素には同じ符号を付してある。
　撮影レンズ１２は、ズームレンズを有しており、焦点距離取得部７２は、撮影レンズ１２の焦点距離を取得する。
　本実施形態の絞り制御部７０は、ＤＲモードの撮影時、焦点距離取得部７２により取得された撮影レンズ１２の焦点距離に基づいて、ＮＤフィルタ１５を挿入状態にするか否かを制御する。例えば、ＤＲモードの撮影時、焦点距離が閾値Ｔｚよりも大きい場合（焦点距離が長い場合）には、絞り１４の絞り値を規定値まで大きくするとともにＮＤフィルタ１５を非挿入状態にし、焦点距離が閾値Ｔｚ以下である場合（焦点距離が短い場合）には、絞り１４を開放状態（絞り値を最小値）に設定する。
　図８は、第３実施形態の撮像処理の流れを示すフローチャートである。
　ステップＳ２～Ｓ１２は、第１実施形態と同様である。
　ＤＲモードの場合、ステップＳ１３ｂにて、焦点距離取得部７２により取得された撮影光学系１２の焦点距離が閾値Ｔｚよりも大きいか否かを判定する。
　焦点距離が閾値Ｔｚよりも大きい場合（焦点距離が長い場合）にはステップＳ１４に進み、焦点距離が閾値Ｔｚ以下である場合（焦点距離が短い場合）にはステップＳ１５に進む。
　ステップＳ１４～Ｓ２４は、第１実施形態と同様である。
　本実施形態では、撮影レンズ１２の焦点距離が短い場合、左画像と右画像とで結像ズレが少なくなるため、ＤＲモードでも、絞り１４を開放状態（絞り値を最小値）に設定して、ＮＤフィルタ１５を用いて減光を行なう。したがって、被写界深度を一定に維持した撮影が可能となる。
　なお、焦点距離の取得態様は特に限定されない。撮影レンズ１２のズームレンズの移動を直接的に焦点距離を検出してもよいし、レンズ駆動部３６におけるズームレンズの駆動信号を監視して焦点距離を求めてもよいし、画像処理により焦点距離を求めてもよい。
　＜撮影モード設定処理＞
　図１０は、第１実施形態から第３実施形態において共通の撮影モード設定処理の流れを示すフローチャートである。本処理は撮影モード設定制御部６２により実行される。
　電源がオンされると撮像装置１０はスタンバイ状態になる。スタンバイ状態では、操作部３８により撮影モードの設定入力操作を受け付け可能になる。
　まず、２Ｄ撮影モードおよび３Ｄ撮影モードのうちいずれの設定指示であるかを判定する（ステップＳ５２）。
　２Ｄ撮影モードの選択指示の場合、ダイナミックレンジ拡大を行なうか否かの設定指示操作を受け付ける。ダイナミックレンジ拡大であるかを判定し（ステップＳ５４）、Ｙｅｓの場合にはＤＲモードを設定（ステップＳ５６）、Ｎｏの場合にはＳＮモードを設定する（ステップＳ５８）。
　３Ｄ撮影モードの選択指示の場合、３Ｄノーマルモードを設定する（ステップＳ６２）。
　ＤＲモードおよびＳＮモードは、第１実施形態にて説明した通りであり、それぞれ撮影時に画素加算を行なう。３Ｄのノーマルモードでは、画素加算を行なわないで左画像および右画像からなる立体視画像を記録する。
　なお、ＤＲモードおよびＳＮモードの選択指示操作を受け付ける場合を例に説明したが、本発明はこのような場合に特に限定されず、ＤＲモードおよびＳＮモードを自動設定してもよい。例えば、ライブビュー画像（スルー画像）の表示時に、被写体輝度を取得し、２Ｄ撮影モードであって、被写体輝度が明るく、且つ、ダイナミックレンジが閾値以下の場合には、ＤＲモードを自動的に選択してもよい。
　また、撮影モードは図１０に例示したモードには特に限定されず、他のモードを設けてよいことは、言うまでもない。例えば、各視点画像（左画像または右画像）よりも高解像度の高解像度２Ｄ画像を生成するモードを設けてもよい。
　なお、本発明において、瞳分割の方式は、図３～図４に示した瞳分割用の遮光部材１６Ａを用いる態様には特に限定されない。例えば、マイクロレンズＬおよびフォトダイオードＰＤのうちで少なくとも一方の配置や形状に依り瞳分割する態様でもよいし、機械的な絞り１４により瞳分割する態様でも。それ以外の態様でもよい。
　また、撮像素子１６は、ＣＣＤ撮像素子に特に限定されない。例えば、ＣＭＯＳ撮像素子であってもよい。
　また、撮像素子１６における撮像画素の配列は、図２に示したハニカム配列である場合には、限定されない。図１１ＡまたはＢに配列の一部を模式的に示すベイヤ配列であってもよい。具体的には、偶数列全体としての画素配列（主画素配列）および奇数列全体としての画素配列（副画素配列）がいずれもベイヤ配列である、ダブルのベイヤ配列となっている。図１１ＡおよびＢにおいて、Ｒ、Ｇ，Ｂは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するＲ－Ｒ、Ｇ－Ｇ、Ｂ－Ｂの二つの画素（即ち近傍の同色画素）により画素ペアが構成されている。画素ペアのうち一方の画素データにより左画像の画素が構成され、他方の画素データにより右画像の画素が構成される。
　また、ＤＲモードおよびＳＮモードの画素加算を撮像素子１６内で行う場合を例に説明したが、本発明はそのような場合に特に限定されない。撮像画素１６外で画素加算を行なう場合にも、本発明を適用可能である。即ち、ＤＲモードでは、異なる露光時間で撮像された左画像および右画像を、撮像素子１６から取得した後に、画素加算を実行してもよい。ＳＮモードの場合も、撮像素子１６外で行なってもよい。
　また、前述の第１実施形態において、絞り１４の規定値は、例えば、モニタサイズ（表示画面のサイズ）、モニタ解像度（表示画面の解像度）、観視距離（表示画面を見る距離）、ユーザの立体視融合限界（個人差がある）などの算出条件に基づいて、ＣＰＵ４０により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部３８により設定操作が行われ、その設定内容がＥＥＰＲＯＭ５６に記憶される。モニタサイズおよびモニタ解像度（表示画面の解像度）は、モニタ（図１のＬＣＤ３０）等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件（または自動取得できなかった算出条件）については、標準的な条件を適用してもよい。
　また、瞳分割は、図２～図４に示したような撮像素子１６（主画素と副画素とが互いに近接して配置されている構造）を用いる場合には、特に限定されない。例えば、図１４に示すように、メインレンズ１及びリレーレンズ２の左右異なる領域を通過した光束をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像するようにしてもよい。つまり、光学部材（ミラー４）により瞳分割された光束をそれぞれ受光する第１の画素群を有した第１の撮像素子７および第２の画素群を有した第２の撮像素子８を備えた撮像装置としてもよい。図１４に示した構成にも本発明を適用できる。
　本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
　１０…撮像装置、１２…撮像レンズ、１３…光路、１４…絞り、１５…ＮＤフィルタ（減光フィルタ）、１６…撮像素子、４０…ＣＰＵ、６２…撮影モード設定制御部、６４…ＡＥ制御部（被写体輝度取得手段）、６６…ＡＦ制御部（被写体距離取得手段）、６８…撮影実行制御部、７０…絞り制御部、７２…焦点距離取得部

Claims (18)

  1. 　単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子とを備え、前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる立体視画像を生成可能な撮像装置であって、
    　前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付ける撮影モード設定手段と、
    　前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行うことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得する撮影実行制御手段と、
    　前記撮像素子に入射する光束が通過する光路中に配置された絞り装置と、
    　前記第２の平面撮影モードの撮影時には、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくする絞り制御手段と、
    　を備えたことを特徴とする撮像装置。
  2. 　前記第１の画素群と前記第２の画素群は２次元に配列されている受光素子からなり、
    　前記撮像素子には前記第１の画素群の各画素と前記第２の画素群の各画素とが互いに隣接して配置されていることを特徴とする請求項１に記載の撮像装置。
  3. 　前記撮影光学系を通過した光束を分割する光学部材を備え、
    　前記撮像素子は、前記光学部材により瞳分割された光束をそれぞれ受光する前記第１の画素群を有した第１の撮像素子と前記第２の画素群を有した第２の撮像素子とによって構成されていることを特徴とする請求項１に記載の撮像装置。
  4. 　前記第１の平面撮影モードの撮影の場合、前記絞り制御手段は、前記絞り装置を開放状態にすることを特徴とする請求項１ないし３のうちいずれか１項に記載の撮像装置。
  5. 　前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、
    　被写体輝度を取得する被写体輝度取得手段と、を備え、
    　前記絞り制御手段は、前記第１の平面撮影モードの撮影時に、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入するか否かを制御することを特徴とする請求項１ないし４のうちいずれか１項に記載の撮像装置。
  6. 　被写体距離を取得する被写体距離取得手段を備え、
    　前記絞り制御手段は、前記第２の平面撮影モードの撮影時に、前記被写体距離取得手段により取得された前記被写体距離に基づいて、前記絞り装置を開放状態にするか否かを切り替えることを特徴とする請求項１ないし５のうちいずれか１項に記載の撮像装置。
  7. 　前記絞り制御手段は、前記第２の平面撮影モードの撮影時に、前記被写体距離が閾値よりも大きい場合には、前記絞り装置を開放状態にすることを特徴とする請求項６に記載の撮像装置。
  8. 　前記撮影光学系の焦点距離を取得する焦点距離取得手段を備え、
    　前記絞り制御手段は、前記第２の平面撮影モードの撮影時に、前記焦点距離取得手段により取得された前記焦点距離に基づいて、前記絞り装置を開放状態にするか否かを切り替えることを特徴とする請求項１ないし５のうちいずれか１項に記載の撮像装置。
  9. 　前記絞り制御手段は、前記第２の平面撮影モードの撮影時に、前記焦点距離が閾値以下の場合には、前記絞り装置を開放状態にすることを特徴とする請求項８に記載の撮像装置。
  10. 　前記絞り制御手段は、前記第２の平面撮影モードの撮影時に、前記絞り装置を開放状態にした場合には、前記被写体輝度に基づいて、前記減光フィルタを挿入状態にするか否かを切り替えることを特徴とする請求項６ないし９のうちいずれか１項に記載の撮像装置。
  11. 　単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子と、前記撮像素子に入射する光束が通過する光路中に配置された絞り装置を用い、前記第１の画素群および前記第２の画素群により同一のシーンを撮像して前記第１の画素群の画素データおよび前記第２の画素群の画素データからなる平面画像を取得する生成撮像方法であって、
    前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により一枚の平面画像を取得する第１の平面撮影モードおよび第２の平面撮影モードのうち一方の撮影モードの設定入力を受け付けるステップと、
    　前記第２の平面撮影モードの撮影の場合に、前記絞り装置の絞り値を前記第１の平面撮影モードの撮影時の絞り値よりも大きくするステップと、
    　前記第１の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに同一露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算を行ことで平面画像を取得し、前記第２の平面撮影モードの撮影の場合には、前記撮像素子の前記第１の画素群と前記第２の画素群とに異なる露光時間の露光を行わせて前記第１の画素群の画素データと前記第２の画素群の画素データとの画素加算により広ダイナミックレンジの平面画像を取得するステップと、
    　を含む撮像方法。
  12. 　前記第１の平面撮影モードの撮影の場合、前記絞り装置を開放状態にすることを特徴とする請求項１１に記載の撮像方法。
  13. 　前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタと、被写体輝度を取得する被写体輝度取得手段とを用い、
    　前記第１の平面撮影モードの撮影時に、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入するか否かを制御することを特徴とする請求項１１または１２に記載の撮像方法。
  14. 　被写体距離を取得する被写体距離取得手段を用い、
    　前記第２の平面撮影モードの撮影時に、前記被写体距離取得手段により取得された前記被写体距離に基づいて、前記絞り装置を開放状態にするか否かを切り替えることを特徴とする請求項１１ないし１３のうちいずれか１項に記載の撮像方法。
  15. 　前記第２の平面撮影モードの撮影時に、前記被写体距離が閾値よりも大きい場合には、前記絞り装置を開放状態にすることを特徴とする請求項１４に記載の撮像方法。
  16. 　前記撮影光学系の焦点距離を取得する焦点距離取得手段を用い、
    　前記第２の平面撮影モードの撮影時に、前記焦点距離取得手段により取得された前記焦点距離に基づいて、前記絞り装置を開放状態にするか否かを切り替えることを特徴とする請求項１１ないし１３のうちいずれか１項に記載の撮像方法。
  17. 　前記第２の平面撮影モードの撮影時に、前記焦点距離が閾値以下の場合には、前記絞り装置を開放状態にすることを特徴とする請求項１６に記載の撮像方法。
  18. 　前記第２の平面撮影モードの撮影時に、前記絞り装置を開放状態にした場合には、前記被写体輝度に基づいて、前記減光フィルタを挿入状態にするか否かを切り替えることを特徴とする請求項１４ないし１７のうちいずれか１項に記載の撮像方法。
PCT/JP2011/064621 2010-06-30 2011-06-27 撮像装置および撮像方法 WO2012002298A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11800762.4A EP2590024A4 (en) 2010-06-30 2011-06-27 METHOD AND APPARATUS FOR IMAGING
CN201180028802.8A CN102934024B (zh) 2010-06-30 2011-06-27 摄像装置及摄像方法
JP2012522608A JP5628914B2 (ja) 2010-06-30 2011-06-27 撮像装置および撮像方法
US13/713,491 US8902294B2 (en) 2010-06-30 2012-12-13 Image capturing device and image capturing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010150317 2010-06-30
JP2010-150317 2010-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/713,491 Continuation US8902294B2 (en) 2010-06-30 2012-12-13 Image capturing device and image capturing method

Publications (1)

Publication Number Publication Date
WO2012002298A1 true WO2012002298A1 (ja) 2012-01-05

Family

ID=45402012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/064621 WO2012002298A1 (ja) 2010-06-30 2011-06-27 撮像装置および撮像方法

Country Status (5)

Country Link
US (1) US8902294B2 (ja)
EP (1) EP2590024A4 (ja)
JP (1) JP5628914B2 (ja)
CN (1) CN102934024B (ja)
WO (1) WO2012002298A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015231095A (ja) * 2014-06-04 2015-12-21 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10027942B2 (en) 2012-03-16 2018-07-17 Nikon Corporation Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111598A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置
JP6375607B2 (ja) * 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
CN105141839B (zh) * 2015-08-21 2018-01-26 大连理工大学 一种基于光圈时控的高清图像获取方法
JP6873688B2 (ja) * 2016-12-27 2021-05-19 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6442314A (en) 1987-08-07 1989-02-14 Shinetsu Chemical Co Production of silica sol dispersed in organic solvent
JPH0869063A (ja) * 1994-08-29 1996-03-12 Olympus Optical Co Ltd 立体映像録画装置および録画方法
JPH1042314A (ja) 1996-07-22 1998-02-13 Fuji Photo Film Co Ltd 視差画像入力装置
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
JP2001222083A (ja) * 2000-02-07 2001-08-17 Canon Inc 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2008000187A (ja) 2006-06-20 2008-01-10 Maruhon Ind Co Ltd 遊技機
JP2008187385A (ja) 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置
JP2008299184A (ja) 2007-06-01 2008-12-11 Nikon Corp 撮像装置および焦点検出装置
JP2009527007A (ja) 2006-02-13 2009-07-23 スリーエム イノベイティブ プロパティズ カンパニー 単眼三次元撮像
JP2009168995A (ja) 2008-01-15 2009-07-30 Nikon Corp 測距装置および撮像装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9417319D0 (en) * 1994-08-27 1994-10-19 Kodak Ltd Improvements in or relating to photographic processing
JP3805094B2 (ja) * 1998-01-16 2006-08-02 松下電器産業株式会社 固体撮像装置
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP4015090B2 (ja) * 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
JP4998056B2 (ja) * 2006-05-11 2012-08-15 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP4341691B2 (ja) * 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
EP2200271B1 (en) * 2008-08-29 2017-05-10 Sony Corporation Imaging device and image recording and playback system
JP5342969B2 (ja) * 2009-09-10 2013-11-13 富士フイルム株式会社 撮像装置及び撮像方法
JP2011061684A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6442314A (en) 1987-08-07 1989-02-14 Shinetsu Chemical Co Production of silica sol dispersed in organic solvent
JPH0869063A (ja) * 1994-08-29 1996-03-12 Olympus Optical Co Ltd 立体映像録画装置および録画方法
JPH1042314A (ja) 1996-07-22 1998-02-13 Fuji Photo Film Co Ltd 視差画像入力装置
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
JP2001222083A (ja) * 2000-02-07 2001-08-17 Canon Inc 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2009527007A (ja) 2006-02-13 2009-07-23 スリーエム イノベイティブ プロパティズ カンパニー 単眼三次元撮像
JP2008000187A (ja) 2006-06-20 2008-01-10 Maruhon Ind Co Ltd 遊技機
JP2008187385A (ja) 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置
JP2008299184A (ja) 2007-06-01 2008-12-11 Nikon Corp 撮像装置および焦点検出装置
JP2009168995A (ja) 2008-01-15 2009-07-30 Nikon Corp 測距装置および撮像装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2590024A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027942B2 (en) 2012-03-16 2018-07-17 Nikon Corporation Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon
JP2015231095A (ja) * 2014-06-04 2015-12-21 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
JPWO2012002298A1 (ja) 2013-08-22
EP2590024A1 (en) 2013-05-08
US8902294B2 (en) 2014-12-02
JP5628914B2 (ja) 2014-11-19
US20130100251A1 (en) 2013-04-25
EP2590024A4 (en) 2016-05-18
CN102934024A (zh) 2013-02-13
CN102934024B (zh) 2015-07-22

Similar Documents

Publication Publication Date Title
JP5628913B2 (ja) 撮像装置および撮像方法
JP5192096B2 (ja) 立体撮像装置
JP5421829B2 (ja) 撮像装置
WO2011118077A1 (ja) 立体撮像装置および視差画像復元方法
JP5595499B2 (ja) 単眼立体撮像装置
JP5368350B2 (ja) 立体撮像装置
JP5470458B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP5451894B2 (ja) 立体撮像装置およびシェーディング補正方法
JP5525107B2 (ja) 撮像装置
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
WO2012032826A1 (ja) 立体撮像装置および立体撮像方法
JP2011199755A (ja) 撮像装置
JP5628914B2 (ja) 撮像装置および撮像方法
JP5507761B2 (ja) 撮像装置
JP5457240B2 (ja) 立体撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
JP2014063190A (ja) 撮像装置
JP5649837B2 (ja) 立体撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180028802.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800762

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012522608

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011800762

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10666/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE