WO2012032826A1 - 立体撮像装置および立体撮像方法 - Google Patents

立体撮像装置および立体撮像方法 Download PDF

Info

Publication number
WO2012032826A1
WO2012032826A1 PCT/JP2011/063880 JP2011063880W WO2012032826A1 WO 2012032826 A1 WO2012032826 A1 WO 2012032826A1 JP 2011063880 W JP2011063880 W JP 2011063880W WO 2012032826 A1 WO2012032826 A1 WO 2012032826A1
Authority
WO
WIPO (PCT)
Prior art keywords
amount
blur
aperture
unit
image
Prior art date
Application number
PCT/JP2011/063880
Other languages
English (en)
French (fr)
Inventor
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012532885A priority Critical patent/JP5502205B2/ja
Priority to CN201180043307.4A priority patent/CN103098457B/zh
Publication of WO2012032826A1 publication Critical patent/WO2012032826A1/ja
Priority to US13/789,016 priority patent/US9282316B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to a stereoscopic imaging apparatus and a stereoscopic imaging method, and more particularly, to a technique for acquiring different viewpoint images by imaging subject images that have passed through different regions in two directions of a photographic lens, respectively.
  • Patent Document 1 a monocular stereoscopic imaging device having an optical system shown in FIG. 11 is known.
  • a subject image that has passed through different regions in the left-right direction of the main lens 1 and the relay lens 2 is divided into pupils by a mirror 4 and imaged on imaging elements 7 and 8 via imaging lenses 5 and 6, respectively. I am doing so.
  • FIG. 12 (A) to 12 (C) are diagrams illustrating separation states of images formed on the image sensor due to differences in the front pin, in-focus (best focus), and rear pin, respectively.
  • the mirror 4 shown in FIG. 11 is omitted in order to compare the difference in separation due to focus.
  • the focused image among the images divided by the pupil is formed (matched) at the same position on the image sensor, but FIGS. 12A and 12C.
  • the images to be the front pin and the rear pin are formed (separated) at different positions on the image sensor.
  • Patent Document 2 is an example of a compound eye stereoscopic imaging device. This imaging apparatus measures camera shake from a captured 3D image, determines that it is unsuitable for stereoscopic vision when the amount of camera shake correction exceeds a predetermined amount, and causes the 2D data creation unit to output the captured image data.
  • Patent Document 3 is an example of a camera shake correction mechanism of a compound-eye stereoscopic imaging device.
  • Patent Document 4 is an example of a camera shake correction mechanism of a monocular camera equipped with a stereo adapter.
  • Patent Document 5 is an example of a camera provided with an optical camera shake correction mechanism.
  • the amount of camera shake ⁇ x in the yaw direction and the amount of camera shake ⁇ y in the pitch direction are respectively determined from the acceleration a1x ⁇ a2x in the x direction and the acceleration a1y ⁇ a2y in the y direction, the displacement angle ⁇ x around the y axis, the angular velocity ⁇ x, It is obtained by calculating the displacement angle ⁇ y and the angular velocity ⁇ y.
  • the image captured by the image sensor is blurred due to the aberration of the optical system compared to the original object, and the image quality is reduced. It is known to deteriorate.
  • the technique for removing the blur of the optical system in this way by signal processing and obtaining an ideal image is called “restoration”, “deconvolution”, or “deconvolution” of the image.
  • the restoration filter based on the point image intensity distribution (PSF) is information relating to image degradation at the time of imaging, such as shooting conditions (exposure time, exposure amount, distance to the subject, focal length, etc.) and imaging device characteristic information (lens It is generated in consideration of optical characteristics, imaging device identification information, etc. (Patent Document 6).
  • the deterioration model due to blur can be expressed by a function.
  • the blur phenomenon can be expressed by a normal distribution having a parameter (image height) from the center pixel as a parameter (Patent Document 7).
  • Patent Document 8 shows an example of aperture control of an imaging apparatus.
  • the camera is controlled so as to increase the amount of light to the solid-state imaging device using an extra open aperture when photographing with the electronic zoom.
  • the shutter speed can be increased and camera shake can be prevented.
  • camera shake tends to occur.
  • the amount of blurring (blurring amount) of the image due to camera shake is calculated, and compared with the calculated blur amount and image performance data with ⁇ extra open, and when the amount of blurring due to camera shake exceeds the effect of image performance degradation Using an extra open aperture, the shutter speed is increased, and shooting is performed at a point that balances camera shake and image performance.
  • a monocular stereoscopic imaging device that picks up parallax images by selectively acquiring image information that has passed through different pupil positions of the image imaging means, and generates a stereoscopic image
  • the parallax at the in-focus position is 0, and the non-focusing is performed.
  • a parallax corresponding to the defocus amount occurs. For this reason, there is a problem that the amount of parallax of the stereoscopic image varies because the defocus amount at the out-of-focus position is affected by a shake caused by a pan operation at the time of shooting.
  • the present invention has been made in view of such circumstances, and an object thereof is to generate an appropriate stereoscopic image corresponding to a blurring state at the time of photographing.
  • the present invention divides a luminous flux from a subject into two luminous fluxes by pupil division, images the two luminous fluxes on two corresponding photoelectric conversion element groups, and performs photoelectric conversion, thereby pairing images having parallax.
  • the diaphragm unit that can adjust the light amount of the light beam formed on the photoelectric conversion element group of the image pickup unit, the light amount detection unit that detects the light amount of the light beam,
  • a diaphragm control unit capable of executing a first diaphragm control for controlling an opening amount of the diaphragm unit so as to obtain a desired parallax; and a blur detection unit for detecting a blur amount of a subject image when an image is captured by the imaging unit;
  • the aperture control unit executes the second aperture control for performing the second aperture control so that the larger the blur amount detected by the blur detection unit is, the smaller the aperture amount required for the first aperture control is.
  • a shake correction unit that optically corrects the blur of the subject image according to the shake amount detected by the shake detection unit, and whether or not the shake amount detected by the shake detection unit is within a shake correction range of the shake correction unit.
  • the diaphragm control unit executes the second diaphragm control when the blur amount determination unit determines that the blur amount is out of the range in which the blur correction is possible.
  • the blur correction unit optically corrects the blur of the subject image when the blur amount determination unit determines that the blur amount is within a range in which the blur correction is possible, and the aperture control unit determines that the blur amount determination unit When it is determined that the range is within the range in which blur correction is possible, first aperture control is executed.
  • a blur direction detection unit that detects a blur direction of the subject image
  • a blur direction determination unit that determines whether or not the blur direction detected by the blur direction detection unit matches the direction of pupil division
  • the aperture control unit includes: If the blur direction determination unit determines that the blur direction matches the direction of pupil division, second aperture control is executed.
  • the diaphragm control unit executes the first diaphragm control when the blur direction determination unit determines that the blur direction does not match the pupil division direction.
  • a stereoscopic imaging device divides a light beam from a subject into two light beams by pupil division, images the two light beams on two corresponding photoelectric conversion element groups, and photoelectrically converts the parallax.
  • a step of outputting a pair of images having, a step of adjusting a light amount of a light beam formed on the photoelectric conversion element group by an opening amount of a diaphragm portion, a step of detecting a light amount of the light beam, and a desired amount according to the detected light amount
  • a first aperture control for controlling an opening amount of the aperture unit so as to obtain a parallax, a step for detecting a blur amount of a subject image at the time of capturing an image, and a larger aperture unit as the detected blur amount increases.
  • a step of executing a second aperture control for further reducing the amount of the aperture to be less than the amount of the aperture required for the first aperture control.
  • a stereoscopic imaging device divides a light beam from a subject into two light beams by pupil division, images the two light beams on two corresponding photoelectric conversion element groups, and photoelectrically converts the parallax.
  • a step of outputting a pair of images having, a step of adjusting a light amount of a light beam formed on the photoelectric conversion element group by an opening amount of a diaphragm portion, a step of detecting a light amount of the light beam, and a desired amount according to the detected light amount
  • a first aperture control for controlling an opening amount of the aperture unit so as to obtain a parallax, a step for detecting a blur amount of a subject image at the time of capturing an image, and a larger aperture unit as the detected blur amount increases.
  • a step of executing a second aperture control for further reducing the aperture amount of the first aperture control to be smaller than that required for the first aperture control.
  • the depth of focus is increased and the amount of parallax is decreased, so that the stereoscopic effect is weakened when the blur is large, and the influence on the observer can be reduced.
  • Block diagram of a monocular stereoscopic imaging device The figure which shows the structural example of the pupil division parallax image acquisition image pick-up element CCD.
  • a diagram showing the main and sub-pixels one by one 3 is an enlarged view of the main part.
  • FIG. 1 is a block diagram showing an embodiment of a monocular stereoscopic imaging device 1 according to the first embodiment.
  • the monocular stereoscopic imaging device 1 records a captured image on a memory card 54, and the operation of the entire device is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the monocular stereoscopic imaging device 1 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the monocular stereoscopic imaging device 1 based on the input signal. For example, lens driving control, aperture driving control, photographing operation control, image processing control, Image data recording / reproduction control, display control of the liquid crystal monitor 30 for stereoscopic display, and the like are performed.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is selection means for selecting one of an auto shooting mode for shooting a still image, a manual shooting mode, a scene position such as a person, a landscape, a night view, and a moving image mode for shooting a moving image.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been recorded is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key that has both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • image light indicating a subject is a light-receiving surface of a solid-state imaging device (hereinafter referred to as “CCD”) 16 that is a phase difference image sensor capable of acquiring a pupil-divided parallax image via an imaging lens 12 and a diaphragm 14.
  • CCD solid-state imaging device
  • the imaging lens 12 is driven by a lens driving unit 36 controlled by the CPU 40, and focus control, zoom (focal length) control, and the like are performed.
  • the diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by a diaphragm drive unit 34 controlled by the CPU 40.
  • the diaphragm value (F value) F2.8 to F11 is controlled in five steps in increments of 1AV.
  • the CPU 40 controls the diaphragm 14 via the diaphragm driving unit 34, and performs charge accumulation time (shutter speed) in the CCD 16, image signal readout control from the CCD 16, and the like via the CCD control unit 32.
  • FIG. 2 is a diagram illustrating a configuration example of the CCD 16.
  • the CCD 16 has odd-line pixels (main pixels) and even-line pixels (sub-pixels) arranged in a matrix, respectively, and two surfaces that are photoelectrically converted by these main and sub-pixels, respectively. Minute image signals can be read out independently.
  • the plurality of light receiving elements corresponding to each pixel group form an effective pixel region for obtaining an effective imaging signal and an optical black region (hereinafter referred to as “OB region”) for obtaining a black level reference signal.
  • the OB region is actually formed so as to surround the effective pixel region.
  • pixels of GRGR. .. are arranged alternately, and pixels of even lines (2, 4, 6,...) Are similar to the lines of GRGR... , BGBG... Are arranged alternately, and the pixels are arranged so as to be shifted in the line direction by a half pitch with respect to the pixels of the even lines.
  • FIG. 3 is a diagram showing each of the main and sub-pixels of the imaging lens 12, the diaphragm 14, and the CCD 16, and FIG. 4 is an enlarged view of the main part of FIG.
  • the light beam passing through the exit pupil enters the normal CCD pixel (photodiode PD) through the microlens L without being restricted.
  • a light shielding member 16A is formed in the main pixel and subpixel of the CCD 16.
  • the light shielding member 16A shields the right half or the left half of the light receiving surface of the main pixel and sub-pixel (photodiode PD).
  • the light shielding member 16A shields the upper half or the lower half of the light receiving surface of the main pixel and subpixel (photodiode PD).
  • the opening 16B of the light shielding member 16A is located at a position displaced by a predetermined amount ⁇ from the optical axis Ic of the microlens L in the right, left, upper, or lower direction (for example, downward from the optical axis Ic in FIG. 4B). Is provided.
  • the light beam passes through the opening 16B and reaches the light receiving surface of the photodiode PD. That is, the light shielding member 16A functions as a pupil division member.
  • the main pixel and the sub-pixel have different regions (right half / left half or upper half / lower half) where the light flux is restricted by the light shielding member 16A.
  • the right viewpoint image is obtained from the main pixel and the left viewpoint image is obtained from the subpixel.
  • the upper half of the luminous flux is restricted at the main pixel and the lower half of the luminous flux is restricted at the subpixel, the lower viewpoint image is obtained from the main pixel and the upper viewpoint image is obtained from the subpixel.
  • the CCD 16 configured as described above is configured so that the main pixel and the sub-pixel have different regions (right half and left half) where the light flux is limited by the light shielding member 16A.
  • the configuration of the CCD 16 is not limited to this.
  • the microlens L and the photodiode PD may be relatively shifted in the left-right direction, and the light flux incident on the photodiode PD may be limited by the shifting direction.
  • the light flux incident on each pixel may be limited, or the pupil may be divided by a mirror (for example, FIG. 11). Further, the number of pupil divisions may be two or more (for example, 4, 9, 16,).
  • the signal charge accumulated in the CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD control unit 32.
  • the voltage signal read from the CCD 16 is applied to the analog signal processing unit 18 where the R, G, and B signals for each pixel are sampled and held, amplified, and then applied to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 22. Perform signal processing.
  • predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc.
  • the main image data read from the main pixels of the odd lines of the CCD 16 is processed as left viewpoint image data, and is read from the sub pixels of the even lines.
  • the data is processed as right viewpoint image data.
  • the left viewpoint image data and right viewpoint image data (3D image data) processed by the digital signal processing unit 24 are input to the VRAM 50.
  • the VRAM 50 includes an A area and a B area each storing 3D image data representing a 3D image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is encoded by the video encoder 28 and output to a stereoscopic display liquid crystal monitor (LCD) 30 provided on the back of the camera, whereby a 3D subject image is displayed on the liquid crystal monitor 30. Displayed on the display screen.
  • LCD liquid crystal monitor
  • the liquid crystal monitor 30 is a stereoscopic display means capable of displaying a stereoscopic image (left viewpoint image and right viewpoint image) as a directional image having a predetermined directivity by a parallax barrier.
  • a stereoscopic image left viewpoint image and right viewpoint image
  • the configuration of the liquid crystal monitor 30 is not limited to this, and the left viewpoint image and the right viewpoint image can be individually viewed by using special glasses such as those using a lenticular lens or polarized glasses or liquid crystal shutter glasses. You can do it.
  • the CPU 40 starts the AF operation and the AE operation, and the focus lens in the imaging lens 12 is aligned via the lens driving unit 36. Control to come to the focal position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness (photographing Ev value) of the subject from the integrated value input from the AE detection unit 44.
  • the CPU 40 determines the aperture value of the aperture 14 and the electronic shutter (shutter speed) of the CCD 16 for obtaining appropriate exposure based on the photographing Ev value according to a predetermined program diagram.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34 based on the determined aperture value (normal aperture control), and accumulates charges in the CCD 16 via the CCD control unit 32 based on the determined shutter speed. Control the time. Note that the brightness of the subject may be calculated based on an external photometric sensor.
  • the predetermined program diagram corresponds to a combination of the aperture value of the aperture 14 and the shutter speed of the CCD 16 or a combination of these and the imaging sensitivity (ISO sensitivity) corresponding to the brightness of the subject (imaging EV value).
  • the following shooting (exposure) conditions are designed. By shooting under the shooting conditions determined according to the program diagram, it is possible to take a main image and a sub image having a desired parallax regardless of the brightness of the subject.
  • the F value is fixed at a constant value, a main image and a sub image having a desired parallax can be taken.
  • the shooting EV value is larger than 12 (when the shutter speed reaches the maximum value)
  • the exposure is overexposed and the shooting cannot be performed.
  • the monocular stereoscopic imaging device 1 has a configuration in which the ND filter is automatically inserted to reduce the light amount. If added, shooting is possible even if the shooting EV value is greater than 12.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase difference AF processing.
  • the contrast AF process by extracting the high frequency component of the image data in the predetermined focus area from the image data of at least one of the left viewpoint image data and the right viewpoint image data, and integrating the high frequency component
  • An AF evaluation value indicating the in-focus state is calculated.
  • the AF control is performed by controlling the focus lens in the imaging lens 12 so that the AF evaluation value is maximized.
  • the phase difference AF process the phase difference between the image data corresponding to the main pixel and the sub pixel in the predetermined focus area in the left viewpoint image data and the right viewpoint image data is detected, and this phase difference is detected.
  • the defocus amount is obtained based on the information indicating.
  • AF control is performed by controlling the focus lens in the imaging lens 12 so that the defocus amount becomes zero.
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, where predetermined signals including generation processing (YC processing) of luminance data and color difference data of the image data are performed. Processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again. Subsequently, the two pieces of YC data are respectively output to the compression / decompression processing unit 26 and subjected to predetermined compression processing such as JPEG (joint photographic experts group), and then stored in the memory 48 again.
  • a multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated from two pieces of YC data (compressed data) stored in the memory 48, and the MP file is generated by the media controller 52. It is read and recorded in the memory card 54.
  • MP file a file in a format in which a plurality of images are connected
  • the defocus map creating unit 61 not only calculates the phase difference corresponding to the main pixel and the sub-pixel for each of the small areas included in the predetermined focus area, but also substantially covers the entire effective pixel area. Is calculated for each of the small regions.
  • the plurality of small areas that substantially cover the entire effective pixel area need not completely cover the entire effective pixel area, and may be densely or roughly arranged over the entire effective pixel area. That's fine. For example, each of the divided areas obtained by dividing the effective pixel area in a matrix by a predetermined unit (for example, 8 ⁇ 8 pixels), or less (for example, 1 ⁇ 1 pixel), or more (for example, 10 ⁇ 10 pixels).
  • the phase difference is calculated.
  • the phase difference is calculated for each divided region in a predetermined unit separated from the outer edge of the effective pixel region by a predetermined pitch (for example, one divided region or more or less).
  • a predetermined pitch for example, one divided region or more or less.
  • the defocus map creation unit 61 obtains a defocus amount corresponding to each of the small areas based on the phase difference calculated for each of the small areas.
  • a set of defocus amounts corresponding to each of the small areas obtained over the entire effective pixel area is referred to as a defocus map.
  • the defocus map creation unit 61 has a volatile storage medium such as a RAM, and temporarily stores the obtained defocus map.
  • the defocus map creation unit 61 may detect feature points and corresponding points between the viewpoint images, and create a defocus map based on a difference in position information between the feature points and the corresponding points.
  • the restoration filter storage unit 62 is configured by a nonvolatile storage medium such as a ROM, and the image height (distance from the image center, typically the optical axis center L of the imaging lens 12) of each small region in each viewpoint image. ) And a restoration filter corresponding to the defocus amount (or subject distance).
  • the restoration unit 63 deconvolves the small area with the restoration filter selected for each small area of each viewpoint image, and restores the corresponding small area of the viewpoint image.
  • the shake amount detection unit 71 is a shake amount detection unit employed in an optical camera shake correction mechanism.
  • the shake amount detection unit 71 includes a vibration gyro sensor or the like, and detects the shake amount by detecting the angular velocity around the horizontal axis and the angular velocity around the vertical axis of the camera.
  • FIG. 5 is a flowchart of imaging processing executed by the monocular stereoscopic imaging device 1.
  • creation of a defocus map, storage of a restoration filter, restoration processing of a viewpoint image using the restoration filter, output processing of the restored viewpoint image, and the like can be performed by an information processing apparatus other than the monocular stereoscopic imaging apparatus 1, such as a personal computer.
  • a program for causing the monocular stereoscopic imaging apparatus 1 and other information processing apparatuses to execute the processing shown in the following flowchart is recorded in a non-transitory computer-readable recording medium such as a ROM or a CDROM. This process starts in response to half-pressing of the shutter button.
  • the CPU 40 controls the shake amount detection unit 71 to detect the shake amount.
  • the detected shake amount includes a shake amount ⁇ x in the yaw direction (horizontal direction) and a shake amount ⁇ y in the pitch direction (vertical direction).
  • the CPU 40 controls the diaphragm drive unit 34 to set the diaphragm amount corresponding to the blur amount detected by the blur amount detection unit 71.
  • the aperture drive unit 34 controls the aperture of the aperture 14 so as to reach the set aperture amount.
  • the diaphragm amount Y depending on the blur amount ( ⁇ x, ⁇ y) is such that the larger the blur scalar amount, the smaller the aperture amount becomes (smaller aperture side) than the aperture amount according to a predetermined program diagram. It is in.
  • the relationship between the blur amount and the aperture amount is expressed by a function Y having a negative first-order differential coefficient and parameters ( ⁇ x, ⁇ y).
  • Y [ ⁇ x ⁇ x + ⁇ y ⁇ y] + A, where ⁇ x ⁇ ⁇ y is a positive constant.
  • A is an aperture amount determined according to normal aperture control. That is, as the blurring scalar amount increases, the aperture amount becomes larger than the normal aperture amount.
  • the aperture amount Y is expressed by an F value, the F value becomes larger than the value determined by the normal aperture control as the blurring scalar amount increases. For example, if the F value used in normal aperture control is F1.4 (strong parallax), the range used in aperture amount control in this step is F2.8 (standard parallax) to F5.6 (weak) Parallax).
  • the CPU 40 controls the CCD 16 to acquire the viewpoint image data for output in response to an instruction to start imaging by fully pressing the shutter button.
  • the restoration unit 63 specifies the image height and the defocus amount of each small area set in each viewpoint image.
  • the image height of each small area can be specified by calculating the shortest distance from the image center to each small area.
  • the defocus amount of each small area is specified for each viewpoint image based on the defocus map created by the defocus map creation unit 61.
  • the restoration unit 63 selects a restoration filter corresponding to the image height and defocus amount of the small area specified for each viewpoint image from the restoration filter storage unit 62.
  • the restoration unit 63 deconvolves the small area with the restoration filter selected for each small area of each viewpoint image, and restores the corresponding small area of the viewpoint image.
  • the restoration unit 63 generates a stereoscopic image from the viewpoint image whose deterioration has been restored, and stores it again in the VRAM 50 as a restored stereoscopic image.
  • the deteriorated viewpoint image may be output to the liquid crystal monitor 30 (S5), or may be output to the memory card 54, that is, compressed and recorded (S6).
  • the stereoscopic image after restoration of the VRAM 50 is output to the liquid crystal monitor 30, and a good 3D subject image is displayed on the display screen of the liquid crystal monitor 30. That is, the restoration timing is preferably performed before the output of the liquid crystal monitor 30 for the stereoscopic image.
  • the stereoscopic image after restoration of the VRAM 50 may be output to a stereoscopic display other than the liquid crystal monitor 30.
  • the viewpoint image whose deterioration has been restored is output to the memory card 54, that is, compressed and recorded. If the restored stereoscopic image recorded in the memory card 54 is reproduced on various stereoscopic displays such as the liquid crystal monitor 30, a good 3D subject image can be displayed in the same manner.
  • FIGS. 6A and 6B are image diagrams showing how the parallax between the main image and the sub-image varies depending on the F value of the aperture, and FIG. 6A shows the case where the F value is large (dark). FIG. 6B shows a case where the F value is small (bright).
  • the parallax (phase difference) between the main image and the sub-image of the main subject (a person in this example) at the focused position (focus position) is 0.
  • the background parallax is smaller as the F value is darker (FIG. 6A), and is larger as the F value is brighter (FIG. 6B).
  • the depth of focus is increased and the amount of parallax is decreased, thereby reducing the three-dimensional effect when the blur is large and reducing the influence on the observer.
  • FIG. 7 is a block diagram of the monocular stereoscopic imaging device 2 according to the second embodiment. Portions common to the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the monocular stereoscopic imaging device 2 further includes a shake amount range determination control unit 72 and a shake correction unit 73.
  • the blur correction unit 73 optically corrects the blur of the subject image corresponding to the blur amount in the yaw direction / pitch direction detected by the blur amount detection unit 71 according to the control of the blur amount range determination control unit 72.
  • the blur correction unit 73 controls the yaw direction actuator and the pitch direction actuator, and moves the lens 12 in a direction that cancels the detected blur amount to prevent image blur (lens shift method).
  • Various types of optical blur correction methods of the blur correction unit 73 can be employed.
  • the image blur may be prevented by controlling the yaw direction actuator and the pitch direction actuator and moving the CCD 16 in the direction to cancel the detected blur amount (image sensor shift method).
  • FIG. 8 is a flowchart of imaging processing executed by the monocular stereoscopic imaging device 2. This process starts in response to half-pressing of the shutter button.
  • S11 is the same as S1.
  • the shake amount range determination control unit 72 determines whether or not the detected shake amount is within a range in which shake correction is possible. If yes, go to S13, if no, go to S14.
  • the range in which blur correction is possible is the operating range of optical blur correction. For example, the operating range of the yaw direction actuator and the pitch direction actuator.
  • the blur amount range determination control unit 72 controls the blur correction unit 73 to correct image blur corresponding to the detected blur amount. Then, normal aperture control is performed.
  • S14 is the same as S2. In this case, no blur correction is performed.
  • S15 to S18 are the same as S3 to S6.
  • shake correction is performed within the range of the amount of shake that is effective for shake correction. Prevent image blur.
  • FIG. 9 is a block diagram of the monocular stereoscopic imaging device 3 according to the third embodiment. Portions common to the first and second embodiments shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the monocular stereoscopic imaging device 3 further includes a shake direction detection unit 74 and a shake direction determination control unit 75.
  • the shake direction detection unit 74 detects the direction in which the shake occurs (yaw direction and / or pitch direction).
  • FIG. 10 is a flowchart of imaging processing executed by the monocular stereoscopic imaging device 2.
  • S21 is the same as S1.
  • the shake direction detection unit 74 detects the direction corresponding to the larger shake amount among the shake amounts in the yaw direction and the pitch direction detected by the shake amount detection unit 71 as the shake direction. Note that the blur direction detection unit 74 detects the pupil division direction as the blur direction when both blur amounts are the same.
  • the shake direction determination control unit 75 determines whether or not the shake direction detected by the shake direction detection unit 74 is different from the pupil division direction. If Yes (both are different), the process proceeds to S24, and if No (both match), the process proceeds to S25. For example, when the pupil division direction is the horizontal direction, if the blur direction is the yaw direction, the process proceeds to S24, and if the blur direction is the pitch direction, the process proceeds to S25.
  • S24 to S29 are the same as S13 to S18.
  • normal aperture control is performed. That is, the photographing Ev value is calculated from the electrical signal output from the CCD 16, the aperture amount is controlled according to the photographing Ev value and the program diagram, and the luminance level of the subject image is controlled to an appropriate luminance level.
  • the blur amount range determination control unit 72 may control the blur correction unit 73 to correct the image blur corresponding to the detected blur amount.
  • the diaphragm is further narrowed to reduce the influence of the blur on the parallax.
  • the blurring occurs in a direction perpendicular to the pupil division direction, it is considered that the blurring has little influence on the visual perception of the stereoscopic image, so only blurring correction is performed.
  • the shake direction determination control unit 75 determines whether or not the shake direction detected by the shake direction detection unit 74 is different from the pupil division direction. If the blur direction determination control unit 75 determines that the blur direction is not equal to the pupil division direction, the process proceeds to S13. The subsequent processing is the same as in the second embodiment.
  • the shake amount range determination control unit 72 determines whether or not the detected shake amount is within a range in which shake correction is possible. In the case of Yes, it progresses to S13.
  • the subsequent processing is the same as in the second embodiment. If no, the process proceeds to S25.
  • the subsequent processing is the same as in the third embodiment.
  • the aperture can be reduced more than usual, and the influence on parallax can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　本発明の立体撮像装置は、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、光束の光量を検出する光量検出部と、光量検出部の検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行可能な絞り制御部と、撮像部による画像の撮影時における被写体像のぶれ量を検出するぶれ検出部と、を備え、絞り制御部はぶれ検出部の検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行する。

Description

立体撮像装置および立体撮像方法
　本発明は立体撮像装置および立体撮像方法に係り、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する技術に関する。
　従来、単眼立体撮像装置として、図１１に示す光学系を有するものが知られている（特許文献１）。
　この光学系は、メインレンズ１およびリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
　図１２（Ａ）～（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、および後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１２では、フォーカスによる分離の違いを比較するために、図１１に示したミラー４を省略している。
　図１２（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１２（Ａ）および（Ｃ）に示すように前ピンおよび後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
　従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像および右視点画像（３Ｄ画像）を取得することができる。
　特許文献２は複眼立体撮像装置の一例である。この撮像装置は、撮影した３Ｄ画像から手ぶれを測定し、手ぶれ補正量が所定量を超える場合に、立体視に不適であると判定し、撮影画像データを２Ｄデータ作成部に出力させる。
　特許文献３は複眼立体撮像装置の手ぶれ補正機構の一例である。
　特許文献４はステレオアダプタを装着した単眼カメラの手ぶれ補正機構の一例である。
　特許文献５は光学式の手ぶれ補正機構を備えたカメラの一例である。ヨー方向の手ぶれ量ωｘとピッチ方向の手ぶれ量ωｙは、それぞれ、ｘ方向の加速度ａ１ｘ・ａ２ｘとｙ方向の加速度ａ１ｙ・ａ２ｙとから、ｙ軸回りの変位角θｘと角速度ωｘ、ｘ軸回りの変位角θｙと角速度ωｙを算出することで求められる。
　被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。この時の像による画像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布ｈの畳み込み（Convolution ）にノイズｎが加わった
ｇ＝ｆ＊ｈ＋ｎ （＊は畳み込み積分） ・・・（Ａ）
で表される。ｇ、ｈ、ｎを既知として、式（Ａ）から元の物体の輝度分布ｆを求めることができる。このようにして、光学系のボケを信号処理により取り除き、理想的な像を得る技術は、像の「復元」、「逆畳み込み」、あるいは「デコンボリューション（Deconvolution ）」と呼ばれている。点像強度分布（ＰＳＦ）に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件（露光時間、露光量、被写体までの距離、焦点距離等）や撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報等）等を考慮して生成される（特許文献６）。
　ボケによる劣化モデルは、関数によって表現することができる。例えば、中心画素からの距離（像高）をパラメータとする正規分布でボケ現象を表現することができる（特許文献７）。
　特許文献８は撮像装置の絞り制御の一例を示す。カメラは、電子ズームによる撮影時には、extra開放絞りを使用して、固体撮像素子への光量を増やすように制御される。これにより、シャッタスピードを高速化でき、手ぶれを防止することができる。また、撮影光学系の焦点距離がTELE側になるほど手ぶれしやすくなるが、低解像度で撮影した場合は、多少手ぶれしても目立たない場合がある。従って、手ぶれによる画像のボケ量（ぶれ量）を計算し、求めたボケ量と extra開放での像性能データと比較し、手ぶれによるボケ量の方が像性能の劣化の影響を上回る場合には、 extra開放絞りを利用して、シャッタスピードを速くし、手ぶれと像性能のバランスのとれたポイントで撮影する。
特表2009-527007号公報 特開2005-167310号公報 特開2008-20543号公報 特開2005-045328号公報 特開2010-136269号公報 特開2008-172321号公報 特開2000-020691号公報 特開2009-58966号公報
　画像結像手段の異なる瞳位置を通過した画像情報を選択的に取得することで視差画像を撮像して立体画像を生成する単眼立体撮像装置においては、合焦位置の視差が０となり、非合焦位置ではデフォーカス量に応じた視差が生じる。そのため、撮影時のパン操作などによって生じるぶれによって、非合焦位置でのデフォーカス量が影響を受けるため、立体画像の視差量が変動する問題がある。
　本発明はこのような事情に鑑みてなされたもので、撮影時のぶれ状態に対応して適切な立体画像を生成することを目的とする。
　本発明は、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、光束の光量を検出する光量検出部と、光量検出部の検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行可能な絞り制御部と、撮像部による画像の撮影時における被写体像のぶれ量を検出するぶれ検出部と、を備え、絞り制御部はぶれ検出部の検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行する立体撮像装置を提供する。
　ぶれ検出部の検出したぶれ量に応じて被写体像のぶれを光学的に補正するぶれ補正部と、ぶれ検出部の検出したぶれ量がぶれ補正部のぶれ補正可能な範囲内であるか否かを判定するぶれ量判定部を備え、絞り制御部は、ぶれ量判定部がぶれ量がぶれ補正可能な範囲外であると判定した場合、第２の絞り制御を実行する。
　ぶれ補正部は、ぶれ量判定部がぶれ量がぶれ補正可能な範囲内であると判定した場合、被写体像のぶれを光学的に補正し、絞り制御部は、ぶれ量判定部がぶれ量がぶれ補正可能な範囲内であると判定した場合、第１の絞り制御を実行する。
　被写体像のぶれ方向を検出するぶれ方向検出部と、ぶれ方向検出部の検出したぶれ方向が瞳分割の方向と一致するか否かを判定するぶれ方向判定部と、備え、絞り制御部は、ぶれ方向判定部がぶれ方向が瞳分割の方向と一致すると判定した場合、第２の絞り制御を実行する。
　絞り制御部は、ぶれ方向判定部がぶれ方向が瞳分割の方向と不一致であると判定した場合、第１の絞り制御を実行する。
　本発明は、立体撮像装置が、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、絞り部の開放量で光電変換素子群に結像する光束の光量を調整するステップと、光束の光量を検出するステップと、検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行するステップと、画像の撮影時における被写体像のぶれ量を検出するステップと、検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、を実行する立体撮像方法を提供する。
　本発明は、立体撮像装置が、被写体からの光束を瞳分割により２つの光束に分割し、２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、絞り部の開放量で光電変換素子群に結像する光束の光量を調整するステップと、光束の光量を検出するステップと、検出した光量に応じ、所望の視差が得られるよう絞り部の開放量を制御する第１の絞り制御を実行するステップと、画像の撮影時における被写体像のぶれ量を検出するステップと、検出したぶれ量が大きいほど絞り部の開放量を第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、を実行する立体撮像プログラムを提供する。
　本発明は、ぶれ量が大きくなるほどより絞りを絞ることで、焦点深度を深くし、視差量を小さくすることで、ぶれが大きい時に立体効果を弱め、観察者に与える影響を小さくできる。
第１実施形態に係る単眼立体撮像装置のブロック図 瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図 主、副画素の１画素ずつを示した図 図３の要部拡大図 第１実施形態に係る撮像処理のフローチャート 絞りのＦ値により主画像と副画像の視差が変動する様子を示すイメージ図 第２実施形態に係る単眼立体撮像装置のブロック図 第２実施形態に係る撮像処理のフローチャート 第３実施形態に係る単眼立体撮像装置のブロック図 第３実施形態に係る撮像処理のフローチャート 従来の単眼立体撮像装置の一例を示す図 撮像素子に結像する像の分離状態を示す図
　＜第１実施形態＞
　図１は第１実施形態に係る単眼立体撮像装置１の実施の形態を示すブロック図である。
　この単眼立体撮像装置１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。
　再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」という）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 ～Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。
　＜ＣＣＤの構成例＞
　図２はＣＣＤ１６の構成例を示す図である。
　ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。
　図２に示すようにＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
　図３は撮像レンズ１２、絞り１４、およびＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。
　図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
　これに対し、図４（Ｂ）に示すようにＣＣＤ１６の主画素および副画素には遮光部材１６Ａが形成される。単眼立体撮像装置１を横置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいは単眼立体撮像装置１を縦置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｉｃから右、左、上、あるいは下方向（例えば図４（Ｂ）では光軸Ｉｃより下方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
　なお、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、主画素では光束の左半分が制限され、副画素では光束の右半分が制限されると、主画素からは右の視点画像、副画素からは左の視点画像が得られる。あるいは、主画素では光束の上半分が制限され、副画素では光束の下半分が制限されると、主画素からは下の視点画像、副画素からは上の視点画像が得られる。上記構成のＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの（例えば図１１）でもよい。さらに、瞳分割数は２以上（例えば４、９、１６、・・）でもよい。
　図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
　ここで、図２（Ｂ）および（Ｃ）に示すように，ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
　デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
　この液晶モニタ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。ただし、液晶モニタ３０の構成は、これに限られず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出する。ＣＰＵ４０は、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定する。ＣＰＵ４０は、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御する（通常の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。
　ここで、所定のプログラム線図とは、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。このプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する主画像、副画像の撮影が可能となる。
　例えば、所定のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値をとり、撮影ＥＶ値が７から１２までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が暗くなると、絞り１４を開放せず、シャッタ速度やＩＳＯ感度を増やして明るさを補う。
　なお、固定するＦ値を大きくすれば、視差は弱くなり、固定するＦ値を小さくすれば、視差は強くなるので、操作部３８を介してユーザから指示された視差に応じて固定するＦ値とプログラム線図を切り替えるとよい。例えば、弱い視差が指示された場合はＦ値＝5.6のプログラム線図Ａ，標準の視差が指示された場合はＦ値＝2.8のプログラム線図Ｂ、強い視差が指示された場合はＦ値＝1.4のプログラム線図Ｃに沿って通常の絞り制御を行う
。
　この視差優先プログラム線図は、Ｆ値を一定の値で固定しているため、所望の視差を有する主画像、副画像の撮影を行うことができる。ただし、撮影ＥＶ値が１２よりも大きくなると（シャッタ速度が最大値になると）、露出オーバになり撮影できなくなるが、ＮＤフィルタを自動挿入して光量を減光できる構成を単眼立体撮像装置１に追加すれば、撮影ＥＶ値が１２よりも大きくなっても撮影可能である。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左視点画像（主画像）および右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
　デフォーカスマップ作成部６１は、主画素および副画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。
　デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。
　復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。
　復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。
　ぶれ量検出部７１は、光学式の手ぶれ補正機構に採用されるぶれ量検出手段である。例えば、特許文献５と同様、ぶれ量検出部７１は、振動ジャイロセンサなどで構成され、カメラの水平軸回りの角速度と、垂直軸回りの角速度を検出することで、ぶれ量を検出する。
　図５は単眼立体撮像装置１の実行する撮像処理のフローチャートである。なお、デフォーカスマップの作成、復元フィルタの保存、復元フィルタを用いた視点画像の復元処理、復元された視点画像の出力処理などは、単眼立体撮像装置１以外の情報処理装置、例えばパソコンなどでも実行できる。以下のフローチャートで示される処理を単眼立体撮像装置１その他の情報処理装置に実行させるためのプログラムは、ＲＯＭやＣＤＲＯＭなどの非一時的なコンピュータ読み取り可能な記録媒体に記録されている。この処理はシャッタボタンの半押しに応じて開始する。
　Ｓ１では、ＣＰＵ４０は、ぶれ量検出部７１を制御し、ぶれ量を検出させる。検出されるぶれ量にはヨー方向（水平方向）の手ぶれ量ωｘとピッチ方向（垂直方向）の手ぶれ量ωｙが含まれる。
　Ｓ２では、ＣＰＵ４０は、ぶれ量検出部７１の検出したぶれ量に対応する絞り量を絞り駆動部３４に設定するよう制御する。絞り駆動部３４は設定された絞り量に達するよう絞り１４の開口を制御する。このぶれ量（ωｘ，ωｙ）に依存する絞り量Ｙは、ぶれのスカラー量が大きくなるほど、絞り量は所定のプログラム線図に従った絞り量よりもさらに小さくなる（小絞り側になる）関係にある。このぶれ量と絞り量の関係は、１次微分係数が負でありパラメータが（ωｘ，ωｙ）である関数Ｙなどで表現される。例えば、Ｙ＝［Δｘωｘ＋Δｙωｙ］＋Ａ、ここでΔｘ・Δｙはそれぞれ正の定数である。また、Ａは通常の絞り制御に従って決まる絞り量である。つまり、ぶれのスカラー量が増加するにつれて絞り量が通常の絞り量よりもさらに大きくなる。なお、絞り量ＹをＦ値で表すと、ぶれのスカラー量が大きくなるほどよりＦ値は通常の絞り制御で決定される値よりも大きい値になる。例えば、通常の絞り制御で使用されるＦ値がF1.4（強い視差）であるなら、本ステップの絞り量制御で使用される範囲はF2.8（標準の視差）～F5.6（弱い視差）などとなる。
　Ｓ３では、ＣＰＵ４０は、シャッタボタンの全押しで撮像開始が指示されたことに応じ、出力用の視点画像データを取得するようＣＣＤ１６を制御する。
　Ｓ４では、復元部６３は、各視点画像に設定された各小領域の像高とデフォーカス量とを特定する。各小領域の像高の特定は画像中心から各小領域までの最短距離を算出することで行うことができる。また、各小領域のデフォーカス量の特定は、デフォーカスマップ作成部６１の作成したデフォーカスマップに基づいて各視点画像ごとに行われる。復元部６３は、各視点画像ごとに特定された小領域の像高およびデフォーカス量に対応する復元フィルタを復元フィルタ保存部６２から選択する。復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。
　復元部６３は、劣化の復元された視点画像から立体視画像を生成し、復元後の立体視画像として改めてＶＲＡＭ５０に保存する。劣化の復元された視点画像は、液晶モニタ３０に出力されてもよいし（Ｓ５）、メモリカード５４に出力すなわち圧縮記録されてもよい（Ｓ６）。
　Ｓ５にて、このＶＲＡＭ５０の復元後の立体視画像は、液晶モニタ３０に出力され、良好な３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。すなわち、復元のタイミングは、立体視画像が液晶モニタ３０の出力より前に行われることが好ましい。ただし、ＶＲＡＭ５０の復元後の立体視画像は、液晶モニタ３０以外の他の立体視ディスプレイに出力されてもよい。
　Ｓ６にて、劣化の復元された視点画像は、メモリカード５４に出力すなわち圧縮記録される。このメモリカード５４に記録された復元後の立体視画像を、液晶モニタ３０など各種の立体視ディスプレイで再生すれば、同様に良好な３Ｄの被写体像が表示されうる。
　以上の処理により、ぶれ発生時には、通常の絞り制御で得られる視差よりも弱い視差を有する画像が得られる。図６（Ａ）および（Ｂ）はそれぞれ絞りのＦ値により主画像と副画像の視差が変動する様子を示すイメージ図であり、図６（Ａ）はＦ値が大きい（暗い）場合に関して示しており、図６（Ｂ）はＦ値が小さい（明るい）場合に関して示している。
　図６（Ａ）及び（Ｂ）において、ピントを合わせた位置（ピント位置）の主要被写体（この例では人物）の主画像と副画像の視差（位相差）はいずれも０であるが、その背景の視差は、Ｆ値が暗い程、小さく（図６（Ａ））、Ｆ値が明るい程、大きくなる（図６（Ｂ））。
　このように、ぶれ量が大きくなるほどより絞り１４を絞ることで、焦点深度を深くし、視差量を小さくすることで、ぶれが大きい時に立体効果を弱め、観察者に与える影響を小さくできる。
　＜第２実施形態＞
　図７は第２実施形態に係る単眼立体撮像装置２のブロック図である。図１に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　この単眼立体撮像装置２は、ぶれ量範囲判定制御部７２とぶれ補正部７３をさらに備える。ぶれ補正部７３は、ぶれ量範囲判定制御部７２の制御に従い、ぶれ量検出部７１の検出したヨー方向・ピッチ方向のぶれ量に相当する被写体像のぶれを光学的に補正する。例えば、ぶれ補正部７３は、ヨー方向アクチュエータおよびピッチ方向アクチュエータを制御し、検出されたぶれ量を打ち消す方向にレンズ１２を移動させて、像ぶれを防止する（レンズシフト方式）。ぶれ補正部７３の光学的ぶれ補正の方式は各種のものが採用できる。例えば、ヨー方向アクチュエータおよびピッチ方向アクチュエータを制御し、検出されたぶれ量を打ち消す方向にＣＣＤ１６を移動させて、像ぶれを防止してもよい（イメージセンサシフト方式）。
　図８は単眼立体撮像装置２の実行する撮像処理のフローチャートである。この処理はシャッタボタンの半押しに応じて開始する。
　Ｓ１１はＳ１と同様である。
　Ｓ１２では、ぶれ量範囲判定制御部７２は、検出されたぶれ量が、ぶれ補正可能な範囲内であるか否かを判断する。Ｙｅｓの場合はＳ１３、Ｎｏの場合はＳ１４に進む。ぶれ補正可能な範囲は、光学的ぶれ補正の作動範囲である。例えば、ヨー方向アクチュエータおよびピッチ方向アクチュエータの作動範囲である。
　Ｓ１３では、ぶれ量範囲判定制御部７２は、ぶれ補正部７３を制御し、検出されたぶれ量に相当する像ぶれを補正する。そして、通常の絞り制御を行う。
　Ｓ１４はＳ２と同様である。この場合ぶれ補正は行わない。
　Ｓ１５～Ｓ１８はＳ３～Ｓ６と同様である。
　このように、ぶれ補正の効かないぶれ量の範囲では、ぶれ量が大きくなるほどより絞り１４を絞ることで、焦点深度を深くし、ぶれが視差の変動に与える影響を小さくすることができる。また、ぶれ補正の効くぶれ量の範囲では、ぶれ補正を行い。像ぶれを防止する。
　＜第３実施形態＞
　図９は第３実施形態に係る単眼立体撮像装置３のブロック図である。図１に示した第１・２実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　単眼立体撮像装置３は、ぶれ方向検出部７４とぶれ方向判定制御部７５をさらに備える。ぶれ方向検出部７４は、ぶれの生じている方向（ヨー方向および／またはピッチ方向）を検出する。
　図１０は単眼立体撮像装置２の実行する撮像処理のフローチャートである。
　Ｓ２１はＳ１と同様である。
　Ｓ２２では、ぶれ方向検出部７４は、ぶれ量検出部７１が検出したヨー方向およびピッチ方向のぶれ量のうち、大きい方のぶれ量に対応する方向をぶれ方向として検出する。なお、ぶれ方向検出部７４は、両ぶれ量が同一の場合、瞳分割方向をぶれ方向として検出する。
　Ｓ２３では、ぶれ方向判定制御部７５は、ぶれ方向検出部７４の検出したぶれ方向が、瞳分割方向と異なるか否かを判断する。Ｙｅｓ（両者は異なる）の場合はＳ２４、Ｎｏ（両者は一致する）の場合はＳ２５に進む。例えば、瞳分割方向が水平方向である場合、ぶれ方向がヨー方向ならばＳ２４に進み、ぶれ方向がピッチ方向ならばＳ２５に進む。
　Ｓ２４～Ｓ２９はＳ１３～Ｓ１８と同様である。なお、Ｓ２４では、通常の絞り制御を行う。すなわち、ＣＣＤ１６から出力された電気信号から撮影Ｅｖ値を算出し、撮影Ｅｖ値とプログラム線図などに従って絞り量を制御し、被写体像の輝度レベルを適正な輝度レベルに制御する。また、Ｓ２４では、ぶれ量範囲判定制御部７２は、ぶれ補正部７３を制御し、検出されたぶれ量に相当する像ぶれを補正してもよい。
　瞳分割方向と同じぶれ方向にぶれが生じている場合は、ぶれが立体画像の視覚に強く影響を与えると考えられるから、絞りをより絞って視差に対するぶれの影響を小さくする。一方、瞳分割方向と直交する方向にぶれが生じている場合は、ぶれが立体画像の視覚に与える影響はさほど強くないと考えられるから、ぶれ補正のみを行う。
　＜第４実施形態＞
　第２実施形態と第３実施形態の処理は組み合わせることができる。すなわち、まず、ぶれ方向判定制御部７５は、ぶれ方向検出部７４の検出したぶれ方向が、瞳分割方向と異なるか否かを判断する。ぶれ方向判定制御部７５が、ぶれ方向≠瞳分割方向と判定した場合、Ｓ１３に進む。この後の処理は第２実施形態と同様である。
　ぶれ方向判定制御部７５が、ぶれ方向＝瞳分割方向と判定した場合、ぶれ量範囲判定制御部７２は、検出されたぶれ量が、ぶれ補正可能な範囲内であるか否かを判断する。Ｙｅｓの場合はＳ１３に進む。この後の処理は第２実施形態と同様である。Ｎｏの場合はＳ２５に進む。この後の処理は第３実施形態と同様である。
　すなわち、ぶれ方向＝瞳分割方向でありかつぶれ量がぶれ補正可能な範囲外である場合に限って、絞りを通常よりも絞り、視差に対する影響を小さくすることができる。
　１２：撮像レンズ、１４：絞り、１６：ＣＣＤ、６１：デフォーカスマップ作成部、６２：復元フィルタ保存部、６３：復元部、７１：ぶれ量検出部、７２：ぶれ量範囲判定制御部、７３：ぶれ補正部、７４：ぶれ方向検出部、７５：ぶれ方向判定制御部

Claims (7)

  1. 　被写体からの光束を瞳分割により２つの光束に分割し、前記２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力可能な撮像部と、
    　前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、
    　前記光束の光量を検出する光量検出部と、
    　前記光量検出部の検出した光量に応じ、所望の視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行可能な絞り制御部と、
    　前記撮像部による画像の撮影時における被写体像のぶれ量を検出するぶれ検出部と、を備え、
    　前記絞り制御部は前記ぶれ検出部の検出したぶれ量が大きいほど前記絞り部の開放量を前記第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行する立体撮像装置。
  2. 　前記ぶれ検出部の検出したぶれ量に応じて被写体像のぶれを光学的に補正するぶれ補正部と、
    　前記ぶれ検出部の検出したぶれ量が前記ぶれ補正部のぶれ補正可能な範囲内であるか否かを判定するぶれ量判定部を備え、
    　前記絞り制御部は、前記ぶれ量判定部が前記ぶれ量が前記ぶれ補正可能な範囲外であると判定した場合、前記第２の絞り制御を実行する請求項１に記載の立体撮像装置。
  3. 　前記ぶれ補正部は、前記ぶれ量判定部が前記ぶれ量が前記ぶれ補正可能な範囲内であると判定した場合、前記被写体像のぶれを光学的に補正し、
    　前記絞り制御部は、前記ぶれ量判定部が前記ぶれ量が前記ぶれ補正可能な範囲内であると判定した場合、前記第１の絞り制御を実行する請求項２に記載の立体撮像装置。
  4. 　前記被写体像のぶれ方向を検出するぶれ方向検出部と、
    　前記ぶれ方向検出部の検出したぶれ方向が前記瞳分割の方向と一致するか否かを判定するぶれ方向判定部と、を備え、
    　前記絞り制御部は、前記ぶれ方向判定部が前記ぶれ方向が前記瞳分割の方向と一致すると判定した場合、前記第２の絞り制御を実行する請求項１～３のいずれかに記載の立体撮像装置。
  5. 　前記絞り制御部は、前記ぶれ方向判定部が前記ぶれ方向が前記瞳分割の方向と不一致であると判定した場合、前記第１の絞り制御を実行する請求項４に記載の立体撮像装置。
  6. 　立体撮像装置が、
    　被写体からの光束を瞳分割により２つの光束に分割し、前記２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、
    　絞り部の開放量で前記光電変換素子群に結像する光束の光量を調整するステップと、
    　前記光束の光量を検出するステップと、
    　前記検出した光量に応じ、所望の視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行するステップと、
    　前記画像の撮影時における被写体像のぶれ量を検出するステップと、
    　前記検出したぶれ量が大きいほど前記絞り部の開放量を前記第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、
    　を実行する立体撮像方法。
  7. 　立体撮像装置が、
    　被写体からの光束を瞳分割により２つの光束に分割し、前記２つの光束をそれぞれ対応する２つの光電変換素子群に結像して光電変換することで、視差を有する１対の画像を出力するステップと、
    　絞り部の開放量で前記光電変換素子群に結像する光束の光量を調整するステップと、
    　前記光束の光量を検出するステップと、
    　前記検出した光量に応じ、所望の視差が得られるよう前記絞り部の開放量を制御する第１の絞り制御を実行するステップと、
    　前記画像の撮影時における被写体像のぶれ量を検出するステップと、
    　前記検出したぶれ量が大きいほど前記絞り部の開放量を前記第１の絞り制御に必要な開放量よりもさらに小さくする第２の絞り制御を実行するステップと、
    　を実行する立体撮像プログラム。
PCT/JP2011/063880 2010-09-10 2011-06-17 立体撮像装置および立体撮像方法 WO2012032826A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012532885A JP5502205B2 (ja) 2010-09-10 2011-06-17 立体撮像装置および立体撮像方法
CN201180043307.4A CN103098457B (zh) 2010-09-10 2011-06-17 立体成像装置和立体成像方法
US13/789,016 US9282316B2 (en) 2010-09-10 2013-03-07 Stereoscopic imaging device and stereoscopic imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-203394 2010-09-10
JP2010203394 2010-09-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/789,016 Continuation US9282316B2 (en) 2010-09-10 2013-03-07 Stereoscopic imaging device and stereoscopic imaging method

Publications (1)

Publication Number Publication Date
WO2012032826A1 true WO2012032826A1 (ja) 2012-03-15

Family

ID=45810431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/063880 WO2012032826A1 (ja) 2010-09-10 2011-06-17 立体撮像装置および立体撮像方法

Country Status (4)

Country Link
US (1) US9282316B2 (ja)
JP (1) JP5502205B2 (ja)
CN (1) CN103098457B (ja)
WO (1) WO2012032826A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146066A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2013190814A1 (ja) * 2012-06-22 2013-12-27 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP2014229974A (ja) * 2013-05-20 2014-12-08 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2015015629A (ja) * 2013-07-05 2015-01-22 株式会社ニコン 画像処理装置および撮像装置
US9288472B2 (en) 2012-05-09 2016-03-15 Fujifilm Corporation Image processing device and method, and image capturing device
JP2020009255A (ja) * 2018-07-10 2020-01-16 凸版印刷株式会社 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061440A (ja) * 2011-09-13 2013-04-04 Canon Inc 撮像装置および撮像装置の制御方法
JP6210824B2 (ja) 2013-10-02 2017-10-11 オリンパス株式会社 焦点調節装置および焦点調節方法
JP6478511B2 (ja) 2014-08-01 2019-03-06 キヤノン株式会社 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
JP6494333B2 (ja) * 2015-03-04 2019-04-03 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
WO2016168788A2 (en) * 2015-04-17 2016-10-20 Tulip Interfaces, Inc. Containerized communications gateway
CN105208366A (zh) * 2015-09-16 2015-12-30 云南师范大学 一种用于近视患者立体视觉增强的方法
CN109906604B (zh) * 2016-11-09 2021-04-20 富士胶片株式会社 摄像装置、摄像方法及记录介质
JP6776392B2 (ja) * 2019-03-29 2020-10-28 エーエーシー コミュニケーション テクノロジーズ（ジョウシュウ）カンパニーリミテッド カメラ用レンズ駆動装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045328A (ja) * 2003-07-22 2005-02-17 Sharp Corp ３次元画像撮像装置
JP2008187385A (ja) * 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3712199A (en) * 1970-09-23 1973-01-23 Video West Inc Three-dimensional color photographic process, apparatus and product
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
EP0817125B1 (en) * 1996-06-26 2004-09-08 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics moving image generating apparatus
JP3397602B2 (ja) * 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
ID27878A (id) * 1997-12-05 2001-05-03 Dynamic Digital Depth Res Pty Konversi image yang ditingkatkan dan teknik mengenkodekan
JP2000020691A (ja) 1998-07-01 2000-01-21 Canon Inc 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体
US6822758B1 (en) 1998-07-01 2004-11-23 Canon Kabushiki Kaisha Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
JP2001166258A (ja) * 1999-12-10 2001-06-22 Canon Inc 立体画像撮影用光学系及びそれを用いた立体画像撮影装置
JP4305598B2 (ja) 2000-06-05 2009-07-29 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
JP4871942B2 (ja) 2000-06-05 2012-02-08 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
NZ505513A (en) * 2000-06-30 2002-05-31 Marc Dawson Anaglyphic 3-D colour imaging with selective colour filtering
IL150131A (en) * 2002-06-10 2007-03-08 Rafael Advanced Defense Sys A method for turning a series of monoscopic images into a series of stereoscopic images
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
WO2006089417A1 (en) * 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3d camera and 3d video
JP5426174B2 (ja) 2006-02-13 2014-02-26 スリーエム イノベイティブ プロパティズ カンパニー 単眼三次元撮像
US7372642B2 (en) 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
JP2008020543A (ja) 2006-07-11 2008-01-31 Fujifilm Corp 撮像装置
JP2008172321A (ja) 2007-01-09 2008-07-24 Olympus Imaging Corp 電気的画像回復処理を行う撮像装置
JP2008311743A (ja) * 2007-06-12 2008-12-25 Canon Inc 撮像装置
GB0716776D0 (en) * 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
JP2010136269A (ja) 2008-12-08 2010-06-17 Fujifilm Corp デジタルカメラ
JP5503438B2 (ja) * 2009-07-21 2014-05-28 富士フイルム株式会社 ３次元画像表示装置及び３次元画像表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045328A (ja) * 2003-07-22 2005-02-17 Sharp Corp ３次元画像撮像装置
JP2008187385A (ja) * 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5740045B2 (ja) * 2012-03-30 2015-06-24 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2013146066A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
CN104205827B (zh) * 2012-03-30 2016-03-16 富士胶片株式会社 图像处理装置及方法、以及摄像装置
CN104205827A (zh) * 2012-03-30 2014-12-10 富士胶片株式会社 图像处理装置及方法、以及摄像装置
US9277201B2 (en) 2012-03-30 2016-03-01 Fujifilm Corporation Image processing device and method, and imaging device
US9288472B2 (en) 2012-05-09 2016-03-15 Fujifilm Corporation Image processing device and method, and image capturing device
CN104322061B (zh) * 2012-06-22 2017-01-18 株式会社尼康 图像处理装置、摄像装置及图像处理方法
US20150062308A1 (en) * 2012-06-22 2015-03-05 Nikon Corporation Image processing apparatus, image-capturing apparatus and image processing method
JPWO2013190814A1 (ja) * 2012-06-22 2016-02-08 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN104322061A (zh) * 2012-06-22 2015-01-28 株式会社尼康 图像处理装置、摄像装置及图像处理程序
WO2013190814A1 (ja) * 2012-06-22 2013-12-27 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9723288B2 (en) * 2012-06-22 2017-08-01 Nikon Corporation Image processing apparatus, image-capturing apparatus and image processing method
JP2014229974A (ja) * 2013-05-20 2014-12-08 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2015015629A (ja) * 2013-07-05 2015-01-22 株式会社ニコン 画像処理装置および撮像装置
JP2020009255A (ja) * 2018-07-10 2020-01-16 凸版印刷株式会社 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム
JP7135517B2 (ja) 2018-07-10 2022-09-13 凸版印刷株式会社 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム

Also Published As

Publication number Publication date
CN103098457A (zh) 2013-05-08
JP5502205B2 (ja) 2014-05-28
US20130182082A1 (en) 2013-07-18
JPWO2012032826A1 (ja) 2014-01-20
US9282316B2 (en) 2016-03-08
CN103098457B (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
JP5502205B2 (ja) 立体撮像装置および立体撮像方法
JP5192096B2 (ja) 立体撮像装置
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP5640143B2 (ja) 撮像装置及び撮像方法
JP5421829B2 (ja) 撮像装置
JP5368350B2 (ja) 立体撮像装置
JP5690396B2 (ja) 撮像装置およびシェーディング補正方法
JP5469258B2 (ja) 撮像装置および撮像方法
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
WO2013018471A1 (ja) 撮像装置
JP5595505B2 (ja) 立体撮像装置および立体撮像方法
WO2012002298A1 (ja) 撮像装置および撮像方法
JP5457240B2 (ja) 立体撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
JP2014063190A (ja) 撮像装置
JP5649837B2 (ja) 立体撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180043307.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11823305

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012532885

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11823305

Country of ref document: EP

Kind code of ref document: A1