WO2011118089A1 - 立体撮像装置 - Google Patents

立体撮像装置 Download PDF

Info

Publication number
WO2011118089A1
WO2011118089A1 PCT/JP2010/071473 JP2010071473W WO2011118089A1 WO 2011118089 A1 WO2011118089 A1 WO 2011118089A1 JP 2010071473 W JP2010071473 W JP 2010071473W WO 2011118089 A1 WO2011118089 A1 WO 2011118089A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
correction
processing unit
stereoscopic
Prior art date
Application number
PCT/JP2010/071473
Other languages
English (en)
French (fr)
Inventor
貴嗣 青木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to US13/636,608 priority Critical patent/US8520059B2/en
Priority to CN201080065711.7A priority patent/CN102812714B/zh
Priority to JP2012506771A priority patent/JP5192096B2/ja
Publication of WO2011118089A1 publication Critical patent/WO2011118089A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present invention relates to a stereoscopic imaging apparatus, and more particularly to a technique for obtaining a left viewpoint image and a right viewpoint image by forming subject images that have passed through different regions in the left-right direction of an imaging optical system on imaging elements, respectively.
  • Patent Document 1 Japanese Patent Document 1
  • a subject image that has passed through different regions in the left-right direction of the main lens 1 and the relay lens 2 is divided into pupils by a mirror 4 and formed on imaging elements 7 and 8 via imaging lenses 5 and 6, respectively. I am doing so.
  • FIG. 17 are diagrams showing separation states of images formed on the image sensor due to differences in the front pin, in-focus (best focus), and rear pin, respectively.
  • the mirror 4 shown in FIG. 16 is omitted in order to compare the difference in separation due to focus.
  • the focused image of the pupil-divided images is formed (matched) at the same position on the image sensor, but FIG. 17A and FIG. As shown in C), the images to be the front pin and the rear pin are formed (separated) at different positions on the image sensor.
  • Patent Document 2 there is one described in Patent Document 2 as a prior art related to a stereoscopic imaging device.
  • Patent Document 3 a digital camera that extracts a person image area from an image and performs different sharpness correction on the extracted person image area and the other background image area has been proposed as image processing for producing a sense of depth and stereoscopic effect.
  • the left viewpoint image and the right viewpoint image acquired by the stereoscopic imaging device described in Patent Documents 1 and 2 and the like correspond to subject images that are pupil-divided in the left-right direction. For this reason, there is a problem in that, due to the influence of the difference in optical performance (chromatic aberration, distortion, etc.) in the left-right direction of the photographic optical system, the blurring method becomes unbalanced and stereoscopic viewing is difficult.
  • the digital camera described in Patent Document 3 applies different sharpness corrections to different areas within a single screen (for each subject distance such as a person image area and other background image areas) to change the sense of depth and stereoscopic effect. ing.
  • the sharpness correction in Patent Document 3 is not a sharpness correction for a stereoscopic image including a left viewpoint image and a right viewpoint image in the first place.
  • the present invention has been made in view of such circumstances, and a stereoscopic imaging apparatus capable of correcting an imbalance between a left viewpoint image and a right viewpoint image and acquiring a stereoscopic image suitable for stereoscopic viewing.
  • the purpose is to provide.
  • a stereoscopic imaging apparatus includes a single photographing optical system and first and second regions having different predetermined directions of the photographing optical system.
  • An imaging device that forms an image of a passed subject image by dividing the pupil, and photoelectrically converts the subject images that have passed through the first and second regions to output a first image and a second image, respectively.
  • an image processing unit that performs a first image process on the first image and a second image process different from the first image process on the second image.
  • an image processing unit that performs the first image processing and the second image processing so as to reduce a difference in image quality between the first image and the second image after each processing.
  • the difference in image quality between the two images is reduced. Unbalance including a difference in the blurring method can be corrected), and thereby a stereoscopic image that can be easily stereoscopically viewed can be obtained.
  • the stereoscopic imaging apparatus is configured such that, in the first aspect, the image processing unit performs different sharpness corrections on the first image and the second image, respectively. ing.
  • the stereoscopic imaging apparatus includes the parallax amount calculation unit that calculates a parallax amount based on the first image and the second image in the second aspect, and the image processing unit. Is configured to weaken the sharpness correction for an image in a large range of the calculated parallax amount. Since an image with a large amount of parallax is blurred, the image quality cannot be improved even if a large sharpness correction is applied to the image within this range, and the blurred range is a difference in optical characteristics (such as distortion). This is because when the sharpness correction is applied, the difference in image quality becomes more remarkable and the image quality becomes unfavorable.
  • the image processing unit performs different chromatic aberration correction on the first image and the second image, respectively. It is configured.
  • the image processing unit performs different distortion correction on the first image and the second image, respectively. It is configured.
  • a stereoscopic imaging apparatus in the first to fifth aspects, includes a first correction parameter and a second correction used for image processing of the first image and the second image.
  • a storage unit that stores parameters in advance, and the image processing unit performs image processing on the first image and the second image based on the stored first correction parameter and second correction parameter, respectively. It is configured as follows.
  • the photographing optical system is a zoom lens
  • the storage unit corresponds to a zoom position of the zoom lens or zooms.
  • the first correction parameter and the second correction parameter are stored in correspondence with the position and the aperture value, respectively, and the image processing unit reads from the storage unit based on the zoom position at the time of shooting or the zoom position and the aperture value.
  • Corresponding first correction parameters and second correction parameters are read, and image processing of the first image and the second image is performed based on the read first correction parameters and second correction parameters, respectively. It is configured.
  • the optical performance in the horizontal direction of the photographic optical system varies depending on the zoom position of the photographic optical system (zoom lens) or the zoom position and the aperture value, but it corresponds to the zoom position of the zoom lens or the zoom position and the aperture value. Since correction is performed using the stored first correction parameter and second correction parameter, more appropriate image processing can be performed on the first image and the second image.
  • a stereoscopic imaging apparatus provides a stereoscopic image recording medium including the first image and the second image processed by the image processing unit in the first to seventh aspects.
  • a recording unit for recording is provided.
  • the image processing unit is configured to capture the planar image obtained by adding the first image and the second image. It is configured to perform image processing different from the first image processing and the second image processing.
  • a stereoscopic imaging device in the first to seventh aspects, includes information indicating a stereoscopic image together with the first image and the second image before processing by the image processing unit.
  • a recording unit that records information indicating a planar image in association with the recording medium, and the image processing unit performs the first image and the second image read from the recording medium when outputting the stereoscopic image with respect to the first image and the second image.
  • the first image processing and the second image processing are performed, and image processing different from the first image processing and the second image processing is performed at the time of outputting a planar image.
  • a stereoscopic imaging apparatus is the first to tenth aspects, in which the imaging elements are each a first group of photoelectric conversion pixels and a second group of pixels arranged in a matrix.
  • a first group of pixels that are limited in the light receiving direction of the light beam so as to receive only a subject image that has passed through the first region of the photographing optical system; and a second region of the photographing optical system
  • a second group of pixels that are limited in the light receiving direction of the light beam so as to receive only the subject image that has passed through the first image and the second group of pixels from the first group of pixels and the second group of pixels.
  • the second image can be read out.
  • the present invention it is possible to correct the imbalance of the left and right viewpoint images by performing separate image processing on the first and second images (left and right viewpoint images) acquired by the stereoscopic imaging device, Thereby, a stereoscopic image suitable for stereoscopic vision can be acquired.
  • FIG. 4 is a diagram illustrating a configuration example of a phase difference CCD (subpixel).
  • the figure which showed one pixel each of the main and sub pixel of an imaging optical system and phase contrast CCD Fig. 3 is an enlarged view of the main part (normal pixel). 3 is an enlarged view of the main part (phase difference pixel).
  • the figure which shows the 3rd example of the aberration of the lens of an imaging optical system 6 is a flowchart showing a shooting operation of the stereoscopic imaging apparatus according to the first embodiment of the present invention.
  • Diagram showing point image before correction Diagram showing point image after correction
  • a diagram showing the difference in point images depending on the presence or absence of parallax (no parallax) A diagram showing the difference in point images depending on the presence or absence of parallax (with parallax)
  • movement of the stereo imaging device of the 5th Embodiment of this invention The figure used for demonstrating the effect
  • the figure which shows an example of the optical system of the conventional stereoscopic imaging device The figure which shows the principle by which an image with a phase difference is imaged with a stereo imaging device
  • FIG. 1 is a block diagram showing an embodiment of a stereoscopic imaging apparatus 10 according to the present invention.
  • the stereoscopic imaging apparatus 10 records the captured image on the memory card 54, and the overall operation of the apparatus is centrally controlled by a central processing unit (CPU: Central Processing Unit) 40.
  • CPU Central Processing Unit
  • the stereoscopic imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the stereoscopic imaging device 10 based on the input signal. For example, lens driving control, aperture driving control, photographing operation control, image processing control, image processing Data recording / reproduction control, display control of the liquid crystal monitor 30 for stereoscopic display, and the like are performed.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is a selection operation member that selects a 2D shooting mode, a 3D shooting mode, an auto shooting mode, a manual shooting mode, a scene position such as a person, a landscape, a night view, and a moving image mode for shooting a moving image.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been recorded is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and is a button (cursor moving operation member) for selecting an item from a menu screen or instructing selection of various setting items from each menu. Function.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • phase difference CCD charge-coupled device
  • the photographing optical system 12 is driven by a lens driving unit 36 controlled by the CPU 40, and performs focus control, zoom control, and the like.
  • the diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by the diaphragm driving unit 34 controlled by the CPU 40. For example, the diaphragm 14 is controlled in five stages from the aperture value F2.8 to F11 in increments of 1AV.
  • the CPU 40 controls the diaphragm 14 via the diaphragm driving unit 34, and controls the charge accumulation time (shutter speed) in the phase difference CCD 16 and the image signal readout control from the phase difference CCD 16 via the CCD control unit 36. Etc.
  • ⁇ Configuration example of phase difference CCD> 2A to 2C are diagrams showing an example of the configuration of the phase difference CCD 16.
  • the phase difference CCD 16 has odd-numbered lines of pixels (main pixels) and even-numbered lines of pixels (sub-pixels) arranged in a matrix, and photoelectric conversion is performed in these main and sub-pixels.
  • the image signals for the two surfaces can be read independently.
  • the pixels of all lines of the phase difference CCD 16 may be sequentially read, and then the main image composed of pixels of odd lines and the sub-image composed of pixels of even lines may be separated.
  • the odd lines (1, 3, 5,...) Of the phase difference CCD 16 include pixels of R (red), G (green), and B (blue) color filters.
  • the GRGR... Pixel array line and the BGBG... Pixel array line are alternately provided, while the even line (2, 4, 6,%) Pixels have the GRGR.
  • the pixel array lines and BGBG... Pixel array lines are alternately provided, and the pixels are arranged so as to be shifted in the line direction by a half pitch with respect to the even-line pixels.
  • FIG. 3 is a diagram showing each of the main and sub-pixels of the photographing optical system 12, the diaphragm 14, and the phase difference CCD 16, and FIGS. 4A and 4B are enlarged views of the main part of FIG.
  • the light beam passing through the exit pupil enters the normal CCD pixel (photodiode PD) through the microlens L without being restricted.
  • a light shielding member 16A is formed in the main pixel and subpixel of the phase difference CCD 16, and the right half or the left half of the light receiving surface of the main pixel and subpixel (photodiode PD) is shielded by the light shielding member 16A. ing. That is, the light shielding member 16A functions as a pupil division member.
  • the phase difference CCD 16 having the above configuration is configured so that the main pixel and the sub-pixel have different regions (right half and left half) in which the light flux is restricted by the light shielding member 16A. Without providing the light shielding member 16A, the microlens L and the photodiode PD may be relatively shifted in the left-right direction, and the light flux incident on the photodiode PD may be limited by the shifting direction. By providing one microlens for each pixel (main pixel and subpixel), the light flux incident on each pixel may be limited.
  • the signal charge accumulated in the phase difference CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD control unit 32.
  • the voltage signal read from the phase difference CCD 16 is applied to the analog signal processing unit 18 where the R, G, and B signals for each pixel are sampled and held and then added to the A / D converter 20. It is done.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs gain control processing including offset processing, white balance correction, sensitivity correction, gamma correction processing, distortion correction processing, and chromatic aberration correction on a digital image signal input via the image input controller 22. Predetermined signal processing such as processing, synchronization processing, YC processing, and sharpness correction is performed.
  • ROM Read-Only Memory; for example, EEPROM (Electrically Erasable Programmable Read-Only Memory)
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • the main image data read from the odd-line main pixels of the phase difference CCD 16 is processed as left viewpoint image data
  • the sub-image data read from the even-line sub-pixels is Are processed as right viewpoint image data.
  • the left viewpoint image data and right viewpoint image data (3D image data) processed by the digital signal processing unit 24 are input to a VRAM (Video Random Access Memory) 50.
  • the VRAM 50 includes an A area and a B area each storing 3D image data representing a 3D image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is encoded by the video encoder 28 and is output to the stereoscopic display liquid crystal monitor 30 provided on the back of the camera, whereby the 3D subject image is displayed on the display screen of the liquid crystal monitor 30. Is displayed.
  • the liquid crystal monitor 30 is a stereoscopic display device that can display a stereoscopic image (left viewpoint image and right viewpoint image) as a directional image having a predetermined directivity by a parallax barrier.
  • the left viewpoint image and the right viewpoint image may be viewed separately by using a lens, or by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses.
  • the phase difference CCD 16 starts an AF (Automatic Focus) operation and an AE (Automatic Exposure) operation, via the lens driving unit 36. Then, control is performed so that the focus lens in the photographing optical system 12 comes to the in-focus position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE detection unit 44, and based on this shooting Ev value, calculates the aperture value of the aperture 14 and the electronic shutter (shutter speed) of the phase difference CCD 16. It is determined according to a predetermined program diagram, the aperture 14 is controlled via the aperture drive unit 34 based on the determined aperture value, and the phase difference CCD 16 via the CCD control unit 36 based on the determined shutter speed. To control the charge accumulation time.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase AF processing.
  • contrast AF processing by extracting a high frequency component of image data in a predetermined focus area from at least one of left viewpoint image data and right viewpoint image data, and integrating the high frequency component
  • An AF evaluation value indicating the in-focus state is calculated.
  • AF control is performed by controlling the focus lens in the photographic optical system 12 so that the AF evaluation value is maximized.
  • the phase difference AF process the phase difference between the image data corresponding to the main pixel and the sub pixel in the predetermined focus area in the left viewpoint image data and the right viewpoint image data is detected, and this phase difference is detected.
  • the defocus amount is obtained based on the information indicating.
  • AF control is performed by controlling the focus lens in the photographing optical system 12 so that the defocus amount becomes zero.
  • Image data for two images is input from an image input controller 22 to a memory (SDRAM: Synchronous Random Access Memory) 48 and temporarily stored.
  • SDRAM Synchronous Random Access Memory
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, where predetermined signals including generation processing (YC processing) of luminance data and color difference data of the image data are performed. Processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again. Subsequently, two pieces of YC data are respectively output to the compression / decompression processing unit 26, and after a predetermined compression process such as JPEG (Joint Photographic Experts Group) is executed, it is stored in the memory 48 again.
  • a multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated from two pieces of YC data (compressed data) stored in the memory 48, and the MP file is generated by the media controller 52. It is read and recorded in the memory card 54.
  • MP file a file in a format in which a plurality of images are connected
  • 5D to 5F are graphs showing examples of aberrations of the photographing optical system.
  • the horizontal axis indicates the pupil position, and the vertical axis indicates the aberration.
  • the photographing optical system has aberrations such as spherical aberration, chromatic aberration, coma aberration, astigmatism, and field curvature.
  • the stereoscopic imaging apparatus 10 acquires image data of main pixels and sub-pixels from a subject image (subject image that passes through different regions in the left-right direction of the photographing optical system) divided in the left-right direction.
  • Directional aberration affects the image quality of image data of the main pixel and subpixel.
  • FIG. 5A to FIG. 5C show examples of point images of main pixels and sub-pixels obtained from the stereoscopic imaging device having the photographing optical system shown in FIG. 5D to FIG. 5F, respectively.
  • the aberration does not affect the peak and the inclination of the point image of the main pixel and sub-pixel, but the aberration as shown in FIG. 5D.
  • the aberration greatly affects the peak and spread (PSF: Point-Spread-Function) of the point image of the main pixel and sub-pixel.
  • aberrations and the like of the imaging optical system 12 are inspected before product shipment, and separate correction parameters for sharpness correction are created for the image data of the main pixel and subpixel, and are written in the ROM 46. Leave it in.
  • the digital signal processing unit 24 reads out different correction parameters from the ROM 46, and corrects the image data of the main pixel and the sub-pixel with the corresponding correction parameters. Adjust the balance of both images.
  • sharpness correction for example, a convolution filter of a predetermined size (3 ⁇ 3, 5 ⁇ 5) can be used, and the strength of sharpness correction can be adjusted by appropriately setting the filter coefficient (correction parameter). can do. Also, by providing correction parameters for each area within the shooting angle of view, it is possible to correct the sharpness of the main image and the sub-image for each area.
  • FIG. 6 is a flowchart showing the photographing operation of the stereoscopic imaging apparatus 10 according to the first embodiment of the present invention.
  • step S10 When the shutter button is fully pressed, the CPU 40 performs exposure for main photographing (step S10).
  • the main image and the sub image are read from the phase difference CCD 16 and temporarily held in the memory 48 (step S12).
  • the main image and the sub image held in the memory 48 are subjected to various signal processing such as white balance correction, gamma correction processing, synchronization processing, YC processing, and the like by the digital signal processing unit 24. In FIG. Is omitted.
  • the digital signal processing unit 24 reads out different correction parameters for sharpness correction corresponding to the main image and the sub-image from the ROM 46 (step S14). Then, sharpness correction is performed on the main image and the sub-pixel using different correction parameters (step S16). The sharpness correction is normally performed on the Y signal (luminance signal) generated by the YC process.
  • the main image and the sub image corrected as described above are subjected to sharpness correction by separate correction parameters, and as shown in FIG. 7B, compared to FIG.
  • the peaks of the corresponding point images can be aligned, and the balance of the left and right viewpoint images is improved.
  • the main and sub-images (YC signal) subjected to image processing as described above are each compressed and stored in an MP file, and the MP file is recorded on the memory card 54 via the media controller 52 ( Step S18).
  • FIG. 8 is a flowchart showing the shooting operation of the stereoscopic imaging apparatus 10 according to the second embodiment of the present invention.
  • the same step number is attached
  • the second embodiment is different from the first embodiment in that the processes of step S20 and step S22 are added.
  • Step S20 calculates the amount of parallax between corresponding points of the main image and the sub-image acquired in step S12.
  • the calculation of the amount of parallax is based on one image (for example, main image), and the corresponding pixel of the other image (sub-image) is obtained.
  • a method for obtaining the corresponding pixel for example, a block matching method can be applied.
  • a parallax map indicating the parallax for one screen is created by obtaining the parallax with the corresponding pixel on the sub-image.
  • sharpness correction is performed in an area where there is no parallax (or a small area) as shown in FIG. 9A.
  • sharpness correction can be weakly applied in a region with a large parallax (blurred region).
  • FIG. 10 is a flowchart showing the shooting operation of the stereoscopic imaging apparatus 10 according to the third embodiment of the present invention.
  • the same step number is attached
  • the third embodiment is different from the first embodiment in that the processing of step S30 and step S32 is performed instead of step S14 and step S16 of FIG.
  • step S30 separate correction parameters for correcting chromatic aberration corresponding to the main image and the sub-image are read from the ROM 46.
  • step S32 chromatic aberration correction is performed on the R, G, and B signals of the main image and the R, G, and B signals of the sub-pixels using the read color-specific correction parameters and the main and sub-image correction parameters.
  • FIG. 11 shows an example of the difference in chromatic aberration around the angle of view between the main image and the sub-image.
  • the third embodiment it is possible to individually correct chromatic aberration around the angle of view of the main image and the sub-image, and it is possible to obtain the main image and the sub-image without any color shift.
  • FIG. 12 is a flowchart showing the photographing operation of the stereoscopic imaging apparatus 10 according to the fourth embodiment of the present invention.
  • the same step number is attached
  • the third embodiment is different from the first embodiment in that steps S40 and S42 are performed instead of steps S14 and S16 in FIG.
  • step S40 correction parameters for correcting different distortion (distortion aberration) corresponding to the main image and the sub-image are read from the ROM 46.
  • step S42 distortion correction is performed on the main image and sub-pixels using the read-out separate correction parameters.
  • FIG. 13 is a flowchart showing the photographing operation of the stereoscopic imaging apparatus 10 according to the fifth embodiment of the present invention.
  • the same step number is attached
  • image processing is switched between when a 2D image is captured and when a 3D image is captured.
  • the stereoscopic imaging apparatus 10 performs different processes as described below depending on whether the 2D shooting mode is selected or the 3D shooting mode is selected. The same processing is performed until the main image and the sub image are read from the phase difference CCD 16 up to steps S10 and S12.
  • step S50 it is determined whether or not the camera is in 3D shooting mode (2D shooting mode). If the camera is in 3D shooting mode ("YES”), the process proceeds to step S52, and if it is in 2D shooting mode ("NO"). )), The process proceeds to step S58.
  • the processing for the main image and the sub image in the 3D shooting mode reads out correction parameters for the main image and the sub image from the ROM 46 (steps).
  • step S54 image processing of the main image and the sub-image is performed using the read different correction parameters (step S54). Then, the corrected main image and sub-image are stored in the MP file and recorded on the memory card 54 (step S56).
  • the main image and the sub-image can be balanced regardless of the difference in the optical characteristics of the photographing optical system 12 in the left-right direction.
  • the correction parameters for 2D images which are different correction parameters for the main image and the sub-image and different from the correction parameters for the 3D image, are read from the ROM 46 (step S58).
  • the features of the correction parameters for 2D images will be described later.
  • step S60 the main image and the sub image are corrected using the read-out separate correction parameters
  • step S62 corresponding pixels of the corrected main image and sub image are added to generate a 2D image
  • the generated 2D image is stored in an image file (Exif file) for a digital camera and recorded on the memory card 54 (step S64).
  • FIG. 14A before correction
  • FIG. 14B after correction
  • the main image and the sub-image are corrected so that their point images are equal.
  • FIG. 14C shows the point images of the main image and the sub image corrected by the correction parameter for 2D image, and even if these point images are added, there is no 2-line blur.
  • substantially the same correction parameters can be used for the correction parameters for the main image and the sub-image of 2D image shooting. Therefore, the main image and the sub-image may be added before correction, and the added image may be corrected using the correction parameters for 2D images.
  • FIG. 15 is a flowchart showing the reproduction operation of the stereoscopic imaging apparatus 10 according to the sixth embodiment of the present invention.
  • the MP file storing the 3D image or the Exif file storing the 2D image as described above. Is recorded in the memory card 54.
  • the stereoscopic imaging device 10 is configured not to perform image processing such as sharpness correction on the 3D image or 2D image during recording on the memory card 54.
  • step S70 when the stereoscopic imaging apparatus 10 is switched to the reproduction mode, the 3D image or 2D image recorded on the memory card 54 is read (step S70).
  • step S72 it is determined whether or not the read image is a 3D image. This determination can be made from the MP file, the extension indicating the Exif file, or tag information indicating the type of image in the MP file.
  • step S74 When the image read from the memory card 54 is determined to be a 3D image, different correction parameters are read from the ROM 46 for the main image and sub-image constituting the 3D image (step S74). The main image and the sub image are processed using the correction parameter (step S74). Then, the corrected main image and sub image are output to the liquid crystal monitor 30, an external 3D display, a 3D printer, or the like (step S78).
  • the correction parameter for the 2D image is read from the ROM 46 (step S80), and image processing of the 2D image is performed using the read correction parameter. This is performed (step S82). Then, the corrected 2D image is output to the liquid crystal monitor 30, an external 3D display, a 3D printer, or the like (step S84).
  • image processing such as sharpness correction is not performed on a 3D image or 2D image during recording on the memory card 54.
  • the present invention is not limited to this. It may be given. In this case, only when the 3D image is reproduced, different image processing may be performed on the main image and the sub image to correct the imbalance between the two images.
  • correction parameters for correcting the imbalance between the main image and the sub image are stored for each zoom position and aperture value. It is desirable to use correction parameters corresponding to the zoom position and aperture value in accordance with the zoom position and aperture value during 3D shooting.
  • the stereoscopic imaging apparatus 10 of this embodiment uses one phase difference CCD 16, the apparatus can be reduced in size as compared with the apparatus using the two imaging elements 7 and 8 shown in FIG.
  • the present invention is not limited to the one using one image sensor, but can be applied to the one having the conventional optical system and the image sensor shown in FIG.
  • the image sensor is not limited to the CCD sensor of this embodiment, and may be an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the main image and the sub image showing the subject image divided in the left-right direction are obtained.
  • the number of subject images divided in the pupil is not limited to two.
  • the dividing direction is not limited to the horizontal direction, and pupil division may be performed in the vertical and horizontal directions.
  • SYMBOLS 10 ... Stereo imaging device, 12 ... Imaging optical system, 14 ... Diaphragm, 16 ... Imaging device (phase difference CCD), 30 ... Liquid crystal monitor, 32 ... CCD control part, 34 ... Diaphragm drive part, 36 ... Lens drive part, 38 ... Operating section, 40 ... Central processing unit (CPU), 42 ... AF processing section, 44 ... AE detecting section, 46 ... ROM

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Camera Data Copying Or Recording (AREA)

Abstract

　本発明の一態様に係る立体撮像装置（１０）は、単一の撮影光学系（１２，１４）と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子（１６）であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像に対して第１の画像処理を行うとともに、前記第２の画像に対して前記第１の画像処理と異なる第２の画像処理を行う画像処理部（２４）であって、各処理後の第１の画像と第２の画像との画質の差が低減するように前記第１の画像処理及び第２の画像処理を行う画像処理部とを備える。

Description

立体撮像装置
　本発明は立体撮像装置に係り、特に撮影光学系の左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する技術に関する。
　従来、この種の立体撮像装置として、図１６に示す光学系を有するものが知られている（特許文献１）。
　この光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
　図１７の（Ａ）～（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図１７では、フォーカスによる分離の違いを比較するために、図１６に示したミラー４を省略している。
　図１７の（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１７の（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
　従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。
　その他、立体撮像装置に関連する先行技術として、特許文献２に記載のものがある。
　また、奥行き感、立体感を出す画像処理として、画像中から人物画像領域を抽出し、その抽出された人物画像領域とそれ以外の背景画像領域とに異なるシャープネス補正を行うデジタルカメラが提案されている（特許文献３）。
特表２００９－５２７００７号公報 特開２００９－１６８９９５号公報 特開２００４－２０７９８５号公報
　特許文献１、２等に記載の立体撮像装置により取得される左視点画像と右視点画像は、左右方向に瞳分割された被写体像に対応するものである。このため、撮影光学系の左右方向の光学的な性能（色収差、ディストーション等）の違いの影響により、ボケ方などがアンバランスになり、立体視がしにくくなるという問題がある。
　一方、特許文献３に記載のデジタルカメラは、一画面内の領域別（人物画像領域とそれ以外の背景画像領域などの被写体距離別）に別々のシャープネス補正をかけ、奥行き感や立体感を変えている。しかしながら、特許文献３におけるシャープネス補正は、そもそも左視点画像及び右視点画像からなる立体視画像に対するシャープネス補正ではない。
　本発明はこのような事情に鑑みてなされたもので、左視点画像と右視点画像とのアンバランスを修正することができ、立体視に好適な立体視画像を取得することができる立体撮像装置を提供することを目的とする。
　前記目的を達成するために、本発明の第１の態様に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像に対して第１の画像処理を行うとともに、前記第２の画像に対して前記第１の画像処理と異なる第２の画像処理を行う画像処理部であって、各処理後の第１の画像と第２の画像との画質の差を低減するように前記第１の画像処理及び第２の画像処理を行う画像処理部とを備える。
　上記第１の態様によれば、立体撮像装置により取得される第１の画像及び第２の画像に対してそれぞれ異なる画像処理を行うことにより、両画像の画質の差を低減させる（両画像のボケ方の違い含むアンバランスを補正する）ことができ、これにより立体視がしやすい立体視画像にすることができる。
　本発明の第２の態様に係る立体撮像装置は、上記第１の態様において、前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるシャープネス補正を行うように構成されている。
　本発明の第３の態様に係る立体撮像装置は、上記第２の態様において、前記第１の画像及び第２の画像に基づいて視差量を算出する視差量算出部を備え、前記画像処理部は、前記算出した視差量の大きな範囲の画像に対して前記シャープネス補正を弱くするように構成されている。視差量の大きな範囲の画像はボケているため、この範囲の画像に大きなシャープネス補正をかけても画質をよくすることができず、また、ボケている範囲は、光学特性（歪等）の差が顕著となるため、大きなシャープネス補正をかけた場合に、より画質の差が顕著になり好ましくない画質になるからである。
　本発明の第４の態様に係る立体撮像装置は、上記第１から第３の態様において、前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なる色収差補正を行うように構成されている。
　本発明の第５の態様に係る立体撮像装置は、上記第１から第４の態様において、前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるディストーション補正を行うように構成されている。
　本発明の第６の態様に係る立体撮像装置は、上記第１から第５の態様において、前記第１の画像及び第２の画像の画像処理に使用する第１の補正パラメータ及び第２の補正パラメータを予め記憶する記憶部を備え、前記画像処理部は、前記記憶された第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行うように構成されている。
　本発明の第７の態様に係る立体撮像装置は、上記第６の態様において、前記撮影光学系はズームレンズであり、前記記憶部には、前記ズームレンズのズーム位置に対応して、又はズーム位置と絞り値に対応してそれぞれ前記第１の補正パラメータ及び第２の補正パラメータが記憶され、前記画像処理部は、撮影時のズーム位置、又はズーム位置と絞り値に基づいて前記記憶部から対応する第１の補正パラメータ及び第２の補正パラメータを読み出し、読み出した第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行うように構成されている。
　撮影光学系（ズームレンズ）のズーム位置、又はズーム位置及び絞り値により、撮影光学系の左右方向の光学的性能が変動するが、ズームレンズのズーム位置、又はズーム位置及び絞り値に対応して記憶された第１の補正パラメータ及び第２の補正パラメータを使用して補正するため、前記第１の画像及び第２の画像に対して、より適切な画像処理を行うことができる。
　本発明の第８の態様に係る立体撮像装置は、上記第１から第７の態様において、前記画像処理部により処理された前記第１の画像及び第２の画像からなる立体視画像を記録媒体に記録する記録部を備える。
　本発明の第９の態様に係る立体撮像装置は、上記第１から第８の態様において、前記画像処理部は、前記第１の画像及び第２の画像を加算した平面画像の撮影時には、前記第１の画像処理及び第２の画像処理とは異なる画像処理を行うように構成されている。
　即ち、平面画像（２Ｄ画像）の撮影時には、前記第１の画像及び第２の画像（３Ｄ画像）の撮影時に行われる前記第１、第２の画像処理とは更に異なる画像処理を行い、これにより２Ｄ画像及び３Ｄ画像の撮影時にそれぞれ最適な画像を取得できるようにしている。
　本発明の第１０の態様に係る立体撮像装置は、上記第１から第７の態様において、前記画像処理部による処理前の前記第１の画像及び第２の画像とともに、立体画像を示す情報と平面画像を示す情報を関連付けて記録媒体に記録する記録部を備え、前記画像処理部は、立体視画像の出力時に前記記録媒体から読み出した第１の画像及び第２の画像に対して前記第１の画像処理及び第２の画像処理を行い、平面画像の出力時に前記第１の画像処理及び第２の画像処理とは異なる画像処理を行うように構成されている。
　立体撮像装置から２Ｄ画像又は３Ｄ画像を出力する際に、２Ｄ画像及び３Ｄ画像に応じた最適な画像処理を行って出力することができる。
　本発明の第１１の態様に係る立体撮像装置は、上記第１から第１０の態様において、前記撮像素子は、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能となるように構成されている。
　これにより、複数の撮像素子を使用する立体撮像装置に比べて装置の小型化を図ることができる。
　本発明によれば、立体撮像装置により取得された第１、第２の画像（左右視点画像）に対してそれぞれ別々の画像処理を施すことにより左右視点画像のアンバランスを修正することができ、これにより立体視に好適な立体視画像を取得することができる。
本発明に係る立体撮像装置の実施の形態を示すブロック図 位相差ＣＣＤの構成例を示す図 位相差ＣＣＤの構成例を示す図（主画素） 位相差ＣＣＤの構成例を示す図（副画素） 撮影光学系と位相差ＣＣＤの主、副画素の１画素ずつを示した図 図３の要部拡大図（通常画素） 図３の要部拡大図（位相差画素） 位相差ＣＣＤの主、副画素から得られる点像の一例を示す図（図５Ｄの撮影光学系に対応） 位相差ＣＣＤの主、副画素から得られる点像の一例を示す図（図５Ｅの撮影光学系に対応） 位相差ＣＣＤの主、副画素から得られる点像の一例を示す図（図５Ｆの撮影光学系に対応） 撮影光学系のレンズの収差の第１の例を示す図 撮影光学系のレンズの収差の第２の例を示す図 撮影光学系のレンズの収差の第３の例を示す図 本発明の第１の実施形態の立体撮像装置の撮影動作を示すフローチャート 補正前の点像を示す図 補正後の点像を示す図 本発明の第２の実施形態の立体撮像装置の撮影動作を示すフローチャート 視差の有無による点像の違いを示す図（視差なし） 視差の有無による点像の違いを示す図（視差あり） 本発明の第３の実施形態の立体撮像装置の撮影動作を示すフローチャート 主画像と副画像の画角周辺における色収差の違いの一例を示す図 本発明の第４の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第５の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第５の実施形態の作用を説明するために用いた図（補正前） 本発明の第５の実施形態の作用を説明するために用いた図（補正後） 本発明の第５の実施形態の作用を説明するために用いた図 本発明の第５の実施形態の作用を説明するために用いた図 本発明の第６の実施形態の立体撮像装置の再生動作を示すフローチャート 従来の立体撮像装置の光学系の一例を示す図 立体撮像装置により位相差のある画像が撮像される原理を示す図
　以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。
　［撮像装置の全体構成］
　図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。
　この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４０によって統括制御される。
　立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードを選択する選択用操作部材である。
　再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動用操作部材）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）」という）１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ２．８～Ｆ１１まで１ＡＶ刻みで５段階に絞り制御される。
　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３６を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。
　＜位相差ＣＣＤの構成例＞
　図２Ａから図２Ｃは位相差ＣＣＤ１６の構成例を示す図である。
　位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。尚、前記位相差ＣＣＤ１６の全ラインの画素を順次読み出し、その後、奇数ラインの画素からなる主画像と、偶数ラインの画素からなる副画像とを分離するようにしてもよい。
　図２Ａから図２Ｃに示すように、位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
　図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４Ａ及び図４Ｂは図３の要部拡大図である。
　図４Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
　これに対し、位相差ＣＣＤ１６の主画素及び副画素には遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
　尚、上記構成の位相差ＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
　図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ディストーション補正処理、色収差補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。尚、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ；例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ））４６には、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種の補正パラメータやテーブル等が記憶されている。
　ここで、図２Ｂ及び図２Ｃに示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
　デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
　この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ（Ａｕｔｏｍａｔｉｃ　Ｆｏｃｕｓ）動作及びＡＥ（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３６を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
　［第１の実施形態］
　次に、位相差ＣＣＤ１６から読み出された主画素、副画素の画像データに対するデジタル信号処理部２４での信号処理（画像処理）について説明する。
　図５Ｄから図５Ｆは、それぞれ撮影光学系の収差の一例を示すグラフである。横軸が瞳位置、縦軸が収差を示している。
　撮影光学系には、球面収差、色収差、コマ収差、非点収差、像面湾曲等の収差がある。立体撮像装置１０では、左右方向に瞳分割された被写体像（撮影光学系の左右方向の異なる領域を通過する被写体像）から主画素、副画素の画像データを取得するため、撮影光学系の左右方向の収差が主画素、副画素の画像データの画質に影響する。
　図５Ａから図５Ｃは、それぞれ図５Ｄから図５Ｆに示す撮影光学系を有する立体撮像装置から得られる主画素、副画素の点像の一例を示している。
　図５Ｃに示すように、図５Ｆのような収差を有する撮影光学系の場合には、主画素、副画素の点像のピークや傾きに収差が影響していないが、図５Ｄのような収差を有する撮影光学系の場合には、主画素、副画素の点像のピークや広がり（ＰＳＦ：Ｐｏｉｎｔ－Ｓｐｒｅａｄ－Ｆｕｎｃｔｉｏｎ）に収差が大きく影響する。
　そして、図５Ｄのような収差を有する撮影光学系の場合には、主画像と副画像とが撮影画角内の周辺エリアでアンバランスになり、立体視がしにくくなる。
　そこで、第１の実施形態では、製品出荷前に撮影光学系１２の収差等を検査し、主画素、副画素の画像データに対して別々のシャープネス補正用の補正パラメータを作成し、ＲＯＭ４６に書き込んでおく。
　デジタル信号処理部２４は、主画素、副画素の画像データに対してシャープネス補正を行う場合に、ＲＯＭ４６から別々の補正パラメータを読み出し、主画素、副画素の画像データをそれぞれ対応する補正パラメータにより補正し、両画像のバランスを調整する。
　尚、シャープネス補正としては、例えば、所定サイズ（３×３、５×５）のコンボリューションフィルタを使用することができ、フィルタ係数（補正パラメータ）を適宜設定することで、シャープネス補正の強弱を調節することができる。また、撮影画角内の領域別に補正パラメータをもたせることで、主画像、副画像のシャープネス補正を領域別に行うことができる。
　図６は本発明の第１の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。
　ＣＰＵ４０は、シャッタボタンが全押しされると、本撮影用の露光を行わせる（ステップＳ１０）。
　撮影露光が行われると、位相差ＣＣＤ１６から主画像と副画像がそれぞれ読み出され、メモリ４８に一旦保持される（ステップＳ１２）。メモリ４８に保持された主画像、副画像は、デジタル信号処理部２４によりホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の各種の信号処理が行われるが、図６ではこれらの処理は省略されている。
　続いて、デジタル信号処理部２４は、ＲＯＭ４６から主画像、副画像に対応する別々のシャープネス補正用の補正パラメータを読み出す（ステップＳ１４）。そして、主画像、副画素に対して、別々の補正パラメータを使用してシャープネス補正を行う（ステップＳ１６）。尚、シャープネス補正は、通常、ＹＣ処理により生成されたＹ信号（輝度信号）に対して行われる。
　上記のようにして補正された主画像と副画像は、別々の補正パレメータでシャープネス補正されることにより、図７Ｂに示すように、図７Ａ（補正前）と比較して、主画像と副画像のそれぞれ対応する点像のピークを揃えることができ、左右視点画像のバランスがよくなる。
　上記のようにして画像処理された主、副画像（ＹＣ信号）は、それぞれ圧縮処理されてＭＰファイルに格納され、そのＭＰファイルは、メディア・コントローラ５２を介してメモリカード５４に記録される（ステップＳ１８）。
　［第２の実施形態］
　図８は本発明の第２の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図８に示すように第２の実施形態は、ステップＳ２０、ステップＳ２２の処理が追加されている点で、第１の実施形態と相違する。
　ステップＳ２０は、ステップＳ１２により取得された主画像と副画像の対応点の視差量を算出する。
　視差量の算出は、一方の画像（例えば、主画像）を基準にして、他方の画像（副画像）の対応する画素を求める。この対応する画素を求める方法としては、例えばブロックマッチング法を適用することができる。そして、主画像の全ての画素について、副画像上で対応する画素との視差を求めることにより、一画面分の視差を示す視差マップを作成する。
　ステップＳ２２は、ステップＳ２０で作成された視差マップから視差量の大きい領域（＝ボケが大きい領域）を求め、この視差量の大きい領域に対応する補正パラメータを、シャープネス補正が弱くなるように修正する。
　上記のように視差量に応じて修正された補正パラメータを使用して主画像及び副画像のシャープネス補正を行うことにより、図９Ａに示すように視差がない領域（又は少ない領域）では、シャープネス補正が強くかけることができ、図９Ｂに示すように視差の大きい領域（ボケ領域）では、シャープネス補正が弱くかけることができる。
　［第３の実施形態］
　図１０は本発明の第３の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１０に示すように第３の実施形態は、図６のステップＳ１４、ステップＳ１６の代わりに、ステップＳ３０、ステップＳ３２の処理を行っている点で、第１の実施形態と相違する。
　ステップＳ３０では、ＲＯＭ４６から主画像、副画像に対応する別々の色収差補正用の補正パラメータを読み出す。
　ステップＳ３２では、主画像のＲ、Ｇ、Ｂ信号、及び副画素のＲ、Ｇ、Ｂ信号に対して、前記読み出した色別及び主、副画像別の補正パラメータを使用して色収差補正を行う。
　図１１はそれぞれ主画像と副画像の画角周辺における色収差の違いの一例を示している。
　第３の実施形態によれば、主画像と副画像の画角周辺における色収差を個別に補正することができ、それぞれ色ずれのない主画像、副画像が得られる。
　［第４の実施形態］
　図１２は本発明の第４の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１２に示すように第３の実施形態は、図６のステップＳ１４、ステップＳ１６の代わりに、ステップＳ４０、ステップＳ４２の処理を行っている点で、第１の実施形態と相違する。
　ステップＳ４０では、ＲＯＭ４６から主画像、副画像に対応する別々のディストーション（歪曲収差）補正用の補正パラメータを読み出す。
　ステップＳ４２では、主画像及び副画素に対して前記読み出した別々の補正パラメータを使用してディストーション補正を行う。
　これにより、撮影光学系１２の左右方向のディストーションが非対称であっても、そのディストーションの影響を受けない主画像及び副画像を得ることができる。
　［第５の実施形態］
　図１３は本発明の第５の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１３に示す第５の実施形態では、２Ｄ画像の撮影時と３Ｄ画像の撮影時とで画像処理を切り替えるようにしている。
　立体撮像装置１０は、２Ｄ撮影モードが選択された場合と、３Ｄ撮影モードとが選択された場合とで、以下に示すように異なる処理を行う。尚、ステップＳ１０、Ｓ１２までの位相差ＣＣＤ１６から主画像及び副画像を読み出すまでは、同様に行われる。
　ステップＳ５０では、３Ｄ撮影モードか否か（２Ｄ撮影モード）が判別され、３Ｄ撮影モードの場合（「ＹＥＳの場合」）には、ステップＳ５２に遷移し、２Ｄ撮影モードの場合（「ＮＯの場合」）には、ステップＳ５８に遷移する。
　３Ｄ撮影モード時の主画像及び副画像に対する処理は、前述した第１の実施形態から第４の実施形態で説明したように、主画像と副画像とで別々の補正パラメータをＲＯＭ４６から読み出し（ステップＳ５２）、その読み出した別々の補正パラメータを使用して主画像及び副画像の画像処理を行う（ステップＳ５４）。そして、補正後の主画像及び副画像は、ＭＰファイルに格納されてメモリカード５４に記録される（ステップＳ５６）。
　これにより、撮影光学系１２の左右方向の光学特性の違いにかかわらず、主画像と副画像のバランスをとることができる。
　一方、２Ｄ撮影モードの場合には、主画像と副画像とで別々の補正パラメータであって、３Ｄ画像用の補正パラメータとは異なる２Ｄ画像用の補正パラメータをＲＯＭ４６から読み出す（ステップＳ５８）。尚、２Ｄ画像用の補正パラメータの特徴につては後述する。
　そして、主画像と副画像を前記読み出した別々の補正パラメータを使用して補正し（ステップＳ６０）、補正後の主画像と副画像のそれぞれ対応する画素同士を加算して２Ｄ画像を生成する（ステップＳ６２）。
　生成された２Ｄ画像は、デジタルカメラ用の画像ファイル（Ｅｘｉｆファイル）に格納されてメモリカード５４に記録される（ステップＳ６４）。
　図１４Ａ（補正前）及び図１４Ｂ（補正後）に示すように、３Ｄ画像の撮影時には、主画像と副画像はその点像が等しくなるように補正される。
　一方、図１４Ｂに示す３Ｄ画像用に補正された主画像と副画像とを加算すると、図１４Ｄに示すように、２線ボケのような絵になる。
　そこで、２Ｄ画像の撮影時には、主画像と副画像に対する補正パラメータを、３Ｄ画像用のもとは別に持ち、その補正パラメータを使用して補正するようにしている。図１４Ｃは、２Ｄ画像用の補正パラメータにより補正された主画像と副画像の点像を示しており、これらの点像を加算しても２線ボケにはならない。
　尚、２Ｄ画像の撮影の主画像と副画像に対する補正パラメータは、略同じ補正パラメータを使用することができる。従って、補正前に主画像と副画像とを加算し、その加算された画像に対して、２Ｄ画像用の補正パラメータを使用して補正してもよい。
　［第６の実施形態］
　図１５は本発明の第６の実施形態の立体撮像装置１０の再生動作を示すフローチャートである。
　まず、第６の実施形態の立体撮像装置１０により２Ｄ撮影モード、又は３Ｄ撮影モードによる撮影が行われると、前述したように３Ｄ画像が格納されたＭＰファイル、又は２Ｄ画像が格納されたＥｘｉｆファイルがメモリカード５４に記録される。また、立体撮像装置１０は、メモリカード５４への記録時には、前記３Ｄ画像又は２Ｄ画像に対してシャープネス補正等の画像処理を施さないようにしている。
　図１５において、立体撮像装置１０が再生モードに切り替えられると、メモリカード５４に記録された３Ｄ画像又は２Ｄ画像が読み出される（ステップＳ７０）。
　続いて、読み出された画像が３Ｄ画像か否かが判別される（ステップＳ７２）。この判別は、ＭＰファイル、Ｅｘｉｆファイルを示す拡張子、又はＭＰファイル内の画像の種別を示すタグ情報から判別することができる。
　メモリカード５４から読み出された画像が３Ｄ画像と判別されると、３Ｄ画像を構成する主画像、副画像に対して、別々の補正パラメータをＲＯＭ４６から読み出し（ステップＳ７４）、その読み出した別々の補正パラメータを使用して主画像及び副画像の画像処理を行う（ステップＳ７４）。そして、補正後の主画像及び副画像を液晶モニタ３０、又は外部の３Ｄディスプレイ、３Ｄプリンタ等に出力する（ステップＳ７８）。
　一方、メモリカード５４から読み出された画像が２Ｄ画像と判別されると、その２Ｄ画像に対する補正パラメータをＲＯＭ４６から読み出し（ステップＳ８０）、その読み出した補正パラメータを使用して２Ｄ画像の画像処理を行う（ステップＳ８２）。そして、補正後の２Ｄ画像を液晶モニタ３０、又は外部の３Ｄディスプレイ、３Ｄプリンタ等に出力する（ステップＳ８４）。
　尚、上記第６の実施形態では、メモリカード５４への記録時に３Ｄ画像又は２Ｄ画像に対してシャープネス補正等の画像処理を施さないようにしているが、これに限らず、一般的な画像処理を施したものでもよい。この場合には、３Ｄ画像の再生を行うときのみ、主画像と副画像とで異なる画像処理を施し、両画像のアンバランスを補正するようにしてもよい。
　［その他］
　撮影光学系１２の左右方向の光学特性はズーム位置により異なるため、主画像と副画像のアンバランスを補正するための補正パラメータを各ズーム位置毎に記憶保持し、３Ｄ撮影時のズーム位置（ズーム倍率）に応じて、そのズーム位置に対応する補正パラメータを使用する。
　また、絞り１４の絞り値（開口径）によっても主画像と副画像の特性が異なるため、主画像と副画像のアンバランスを補正するための補正パラメータを、各ズーム位置及び絞り値毎に記憶保持し、３Ｄ撮影時のズーム位置及び絞り値に応じて、そのズーム位置及び絞り値に対応する補正パラメータを使用することが望ましい。
　この実施形態の立体撮像装置１０は、１つの位相差ＣＣＤ１６を使用しているため、図１６に示す２つの撮像素子７、８を使用するものに比べて、装置の小型化を図ることができるが、本発明は、１つの撮像素子を使用するものに限らず、図１６に示した従来の光学系及び撮像素子を有するものにも適用できる。
　また、撮像素子は、この実施の形態のＣＣＤセンサに限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子でもよい。
　また、上記の実施形態では、左右方向に瞳分割された被写体像を示す主画像、副画像を得るようにしたが、瞳分割される被写体像の数は２つに限定されず、また、瞳分割する方向も左右方向に限らず、上下左右方向に瞳分割するようにしてもよい。
　更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…撮像素子（位相差ＣＣＤ）、３０…液晶モニタ、３２…ＣＣＤ制御部、３４…絞り駆動部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４４…ＡＥ検出部、４６…ＲＯＭ

Claims (11)

  1. 　単一の撮影光学系と、
    　前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
    　前記第１の画像に対して第１の画像処理を行うとともに、前記第２の画像に対して前記第１の画像処理と異なる第２の画像処理を行う画像処理部であって、各処理後の第１の画像と第２の画像との画質の差を低減するように前記第１の画像処理及び第２の画像処理を行う画像処理部と、
    　を備える立体撮像装置。
  2. 　前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるシャープネス補正を行う、請求項１に記載の立体撮像装置。
  3. 　前記第１の画像及び第２の画像に基づいて視差量を算出する視差量算出部を備え、
    　前記画像処理部は、前記算出した視差量の大きな範囲の画像に対して前記シャープネス補正を弱くする、請求項２に記載の立体撮像装置。
  4. 　前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なる色収差補正を行う、請求項１から３のいずれかに記載の立体撮像装置。
  5. 　前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるディストーション補正を行う、請求項１から４のいずれかに記載の立体撮像装置。
  6. 　前記第１の画像及び第２の画像の画像処理に使用する第１の補正パラメータ及び第２の補正パラメータを予め記憶する記憶部を備え、
    　前記画像処理部は、前記記憶された第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行う、請求項１から５のいずれかに記載の立体撮像装置。
  7. 　前記撮影光学系はズームレンズであり、
    　前記記憶部には、前記ズームレンズのズーム位置に対応して、又はズーム位置と絞り値に対応してそれぞれ前記第１の補正パラメータ及び第２の補正パラメータが記憶され、
    　前記画像処理部は、撮影時のズーム位置、又はズーム位置と絞り値に基づいて前記記憶部から対応する第１の補正パラメータ及び第２の補正パラメータを読み出し、読み出した第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行う、請求項６に記載の立体撮像装置。
  8. 　前記画像処理部により処理された前記第１の画像及び第２の画像からなる立体視画像を記録媒体に記録する記録部を備える請求項１から７のいずれかに記載の立体撮像装置。
  9. 　前記画像処理部は、前記第１の画像及び第２の画像を加算した平面画像の撮影時には、前記第１の画像処理及び第２の画像処理とは異なる画像処理を行う、請求項１から８のいずれかに記載の立体撮像装置。
  10. 　前記画像処理部による処理前の前記第１の画像及び第２の画像とともに、立体画像を示す情報と平面画像を示す情報を関連付けて記録媒体に記録する記録部を備え、
    　前記画像処理部は、立体視画像の出力時に前記記録媒体から読み出した第１の画像及び第２の画像に対して前記第１の画像処理及び第２の画像処理を行い、平面画像の出力時に前記第１の画像処理及び第２の画像処理とは異なる画像処理を行う、請求項１から７のいずれかに記載の立体撮像装置。
  11. 　前記撮像素子は、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子である、請求項１から１０のいずれかに記載の立体撮像装置。
PCT/JP2010/071473 2010-03-24 2010-12-01 立体撮像装置 WO2011118089A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/636,608 US8520059B2 (en) 2010-03-24 2010-12-01 Stereoscopic image taking apparatus
CN201080065711.7A CN102812714B (zh) 2010-03-24 2010-12-01 立体图像获取装置
JP2012506771A JP5192096B2 (ja) 2010-03-24 2010-12-01 立体撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-068240 2010-03-24
JP2010068240 2010-03-24

Publications (1)

Publication Number Publication Date
WO2011118089A1 true WO2011118089A1 (ja) 2011-09-29

Family

ID=44672673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/071473 WO2011118089A1 (ja) 2010-03-24 2010-12-01 立体撮像装置

Country Status (4)

Country Link
US (1) US8520059B2 (ja)
JP (1) JP5192096B2 (ja)
CN (1) CN102812714B (ja)
WO (1) WO2011118089A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080025A (ja) * 2011-10-03 2013-05-02 Sony Corp 撮像装置および映像記録再生システム
JP2013118464A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置およびその制御方法
WO2013100039A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子及び撮像装置
JP2013187878A (ja) * 2012-03-12 2013-09-19 Canon Inc 撮像装置および撮像装置の制御方法
WO2013146067A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
WO2013146996A1 (ja) 2012-03-29 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
JP2013207678A (ja) * 2012-03-29 2013-10-07 Canon Inc 撮像装置およびその制御方法
WO2013168667A1 (ja) * 2012-05-09 2013-11-14 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP2013236207A (ja) * 2012-05-08 2013-11-21 Nikon Corp 撮像装置、撮像方法、およびプログラム
JP2013243602A (ja) * 2012-05-22 2013-12-05 Canon Inc 撮像装置およびその制御方法
WO2014024500A1 (ja) * 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2014138279A (ja) * 2013-01-17 2014-07-28 Canon Inc 撮像装置および撮像装置の制御方法
JP2014146962A (ja) * 2013-01-29 2014-08-14 Canon Inc 撮像装置およびその制御方法
CN104205827A (zh) * 2012-03-30 2014-12-10 富士胶片株式会社 图像处理装置及方法、以及摄像装置
JP2016106466A (ja) * 2015-12-25 2016-06-16 キヤノン株式会社 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法
JP2016154360A (ja) * 2016-03-30 2016-08-25 キヤノン株式会社 撮像装置およびその制御方法
US9521395B2 (en) 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
JP2016219985A (ja) * 2015-05-19 2016-12-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2017077005A (ja) * 2016-12-01 2017-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP2017229075A (ja) * 2017-07-13 2017-12-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
JP2018007111A (ja) * 2016-07-05 2018-01-11 株式会社ニコン 撮像装置、及び、画像処理装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182075A (ja) * 2010-02-26 2011-09-15 Hitachi Consumer Electronics Co Ltd 画像処理装置
CN103796003B (zh) * 2014-01-21 2016-03-02 深圳市掌网立体时代视讯技术有限公司 一种立体摄像的图像修正方法及系统
US9729806B2 (en) * 2015-01-06 2017-08-08 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
CN104574404B (zh) * 2015-01-14 2017-09-19 宁波大学 一种立体图像重定位方法
CN104754221B (zh) * 2015-03-11 2018-11-16 广东欧珀移动通信有限公司 一种拍照方法及移动终端
CN104754229B (zh) * 2015-03-27 2019-01-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN104811684B (zh) * 2015-04-02 2017-06-16 广东欧珀移动通信有限公司 一种图像的三维美颜方法及装置
JP6755737B2 (ja) * 2016-07-27 2020-09-16 キヤノン株式会社 距離測定装置、撮像装置、および距離測定方法
CN107124548A (zh) * 2017-04-25 2017-09-01 深圳市金立通信设备有限公司 一种拍照方法及终端
JP2018189443A (ja) 2017-04-28 2018-11-29 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
KR20190012812A (ko) * 2017-07-28 2019-02-11 에스케이하이닉스 주식회사 위상차 검출 픽셀을 구비한 이미지 센서
JP7027064B2 (ja) 2017-08-10 2022-03-01 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
GB2608496B (en) 2021-05-07 2024-04-24 Canon Kk Image processing apparatus and method, and image capturing apparatus and control method thereof, program, and storage medium
CN115118881A (zh) * 2022-06-24 2022-09-27 维沃移动通信有限公司 信号处理电路、图像传感器、电子设备及图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0735989A (ja) * 1993-07-26 1995-02-07 Olympus Optical Co Ltd 立体視内視鏡
JP2004207985A (ja) * 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2009527007A (ja) * 2006-02-13 2009-07-23 スリーエム イノベイティブ プロパティズ カンパニー 単眼三次元撮像
JP2009168995A (ja) * 2008-01-15 2009-07-30 Nikon Corp 測距装置および撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
WO2006068129A1 (ja) * 2004-12-22 2006-06-29 Matsushita Electric Industrial Co., Ltd. 撮像装置およびその製造方法
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
US7372642B2 (en) 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
US7646550B2 (en) 2006-02-13 2010-01-12 3M Innovative Properties Company Three-channel camera systems with collinear apertures
US7819591B2 (en) 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
JP5034429B2 (ja) * 2006-10-16 2012-09-26 ソニー株式会社 レンズ装置、撮像装置及び収差補正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0735989A (ja) * 1993-07-26 1995-02-07 Olympus Optical Co Ltd 立体視内視鏡
JP2004207985A (ja) * 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2009527007A (ja) * 2006-02-13 2009-07-23 スリーエム イノベイティブ プロパティズ カンパニー 単眼三次元撮像
JP2009168995A (ja) * 2008-01-15 2009-07-30 Nikon Corp 測距装置および撮像装置

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10070114B2 (en) 2011-10-03 2018-09-04 Sony Corporation Splitting light to generate parallax image
JP2013080025A (ja) * 2011-10-03 2013-05-02 Sony Corp 撮像装置および映像記録再生システム
US9924155B2 (en) 2011-10-04 2018-03-20 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
US9521395B2 (en) 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
US10587860B2 (en) 2011-10-04 2020-03-10 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
JP2013118464A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置およびその制御方法
WO2013100039A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子及び撮像装置
JPWO2013100039A1 (ja) * 2011-12-27 2015-05-11 富士フイルム株式会社 カラー撮像素子及び撮像装置
JP5621059B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子及び撮像装置
US9100558B2 (en) 2011-12-27 2015-08-04 Fujifilm Corporation Color imaging element and imaging apparatus
JP2013187878A (ja) * 2012-03-12 2013-09-19 Canon Inc 撮像装置および撮像装置の制御方法
JP2013207678A (ja) * 2012-03-29 2013-10-07 Canon Inc 撮像装置およびその制御方法
EP2833638A1 (en) * 2012-03-29 2015-02-04 Fujifilm Corporation Image processing device, imaging device, and image processing method
US9167224B2 (en) 2012-03-29 2015-10-20 Fujifilm Corporation Image processing device, imaging device, and image processing method
EP2833638A4 (en) * 2012-03-29 2015-11-25 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGING APPARATUS AND IMAGE PROCESSING METHOD
CN104221370A (zh) * 2012-03-29 2014-12-17 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
WO2013146996A1 (ja) 2012-03-29 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
JP5655174B2 (ja) * 2012-03-29 2015-01-14 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
CN104205827A (zh) * 2012-03-30 2014-12-10 富士胶片株式会社 图像处理装置及方法、以及摄像装置
US9609302B2 (en) 2012-03-30 2017-03-28 Fujifilm Corporation Image processing device, imaging device, image processing method, and recording medium
JPWO2013146067A1 (ja) * 2012-03-30 2015-12-10 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
US9277201B2 (en) 2012-03-30 2016-03-01 Fujifilm Corporation Image processing device and method, and imaging device
CN104205827B (zh) * 2012-03-30 2016-03-16 富士胶片株式会社 图像处理装置及方法、以及摄像装置
WO2013146067A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
JP2013236207A (ja) * 2012-05-08 2013-11-21 Nikon Corp 撮像装置、撮像方法、およびプログラム
JP5687803B2 (ja) * 2012-05-09 2015-03-25 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
CN104272732A (zh) * 2012-05-09 2015-01-07 富士胶片株式会社 图像处理装置、方法及摄像装置
WO2013168667A1 (ja) * 2012-05-09 2013-11-14 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
US9288472B2 (en) 2012-05-09 2016-03-15 Fujifilm Corporation Image processing device and method, and image capturing device
CN104272732B (zh) * 2012-05-09 2016-06-01 富士胶片株式会社 图像处理装置、方法及摄像装置
JP2013243602A (ja) * 2012-05-22 2013-12-05 Canon Inc 撮像装置およびその制御方法
US9509978B2 (en) 2012-08-10 2016-11-29 Nikon Corporation Image processing method, image processing apparatus, image-capturing apparatus, and image processing program
JP5904281B2 (ja) * 2012-08-10 2016-04-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN104429056A (zh) * 2012-08-10 2015-03-18 株式会社尼康 图像处理方法、图像处理装置、摄像装置及图像处理程序
CN104429056B (zh) * 2012-08-10 2017-11-14 株式会社尼康 图像处理方法、图像处理装置、摄像装置及图像处理程序
WO2014024500A1 (ja) * 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2014138279A (ja) * 2013-01-17 2014-07-28 Canon Inc 撮像装置および撮像装置の制御方法
JP2014146962A (ja) * 2013-01-29 2014-08-14 Canon Inc 撮像装置およびその制御方法
JP2016219985A (ja) * 2015-05-19 2016-12-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2016106466A (ja) * 2015-12-25 2016-06-16 キヤノン株式会社 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法
JP2016154360A (ja) * 2016-03-30 2016-08-25 キヤノン株式会社 撮像装置およびその制御方法
JP2018007111A (ja) * 2016-07-05 2018-01-11 株式会社ニコン 撮像装置、及び、画像処理装置
JP2017077005A (ja) * 2016-12-01 2017-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP2017229075A (ja) * 2017-07-13 2017-12-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置

Also Published As

Publication number Publication date
JP5192096B2 (ja) 2013-05-08
JPWO2011118089A1 (ja) 2013-07-04
US20130010078A1 (en) 2013-01-10
US8520059B2 (en) 2013-08-27
CN102812714B (zh) 2014-04-30
CN102812714A (zh) 2012-12-05

Similar Documents

Publication Publication Date Title
JP5192096B2 (ja) 立体撮像装置
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP5640143B2 (ja) 撮像装置及び撮像方法
JP5421829B2 (ja) 撮像装置
JP5690396B2 (ja) 撮像装置およびシェーディング補正方法
JP5368350B2 (ja) 立体撮像装置
JP5502205B2 (ja) 立体撮像装置および立体撮像方法
JP5243666B2 (ja) 撮像装置、撮像装置本体およびシェーディング補正方法
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
JP5284306B2 (ja) 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
WO2012036019A1 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
US9124875B2 (en) Stereoscopic imaging apparatus
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5628914B2 (ja) 撮像装置および撮像方法
JP5595505B2 (ja) 立体撮像装置および立体撮像方法
JP5457240B2 (ja) 立体撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
JP2014063190A (ja) 撮像装置
JP5649837B2 (ja) 立体撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080065711.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10848481

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012506771

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13636608

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10848481

Country of ref document: EP

Kind code of ref document: A1