WO2012002430A1 - 立体画像撮像装置 - Google Patents

立体画像撮像装置 Download PDF

Info

Publication number
WO2012002430A1
WO2012002430A1 PCT/JP2011/064906 JP2011064906W WO2012002430A1 WO 2012002430 A1 WO2012002430 A1 WO 2012002430A1 JP 2011064906 W JP2011064906 W JP 2011064906W WO 2012002430 A1 WO2012002430 A1 WO 2012002430A1
Authority
WO
WIPO (PCT)
Prior art keywords
capturing apparatus
stereoscopic
image capturing
pixels
stereoscopic image
Prior art date
Application number
PCT/JP2011/064906
Other languages
English (en)
French (fr)
Inventor
岩崎　洋一
朋史 永田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2012002430A1 publication Critical patent/WO2012002430A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to a stereoscopic image capturing apparatus capable of capturing a stereoscopic image.
  • Stereo image pickup devices that can pick up a stereoscopic image of a subject (three-dimensional image: hereinafter also referred to as a 3D image) have begun to spread, and television devices and personal computer monitor devices that can display a stereoscopic image have become widespread. Have begun to do.
  • a conventional stereoscopic image pickup apparatus is equipped with two image pickup units as described in, for example, Patent Documents 1 and 2 below, and the shooting lens systems of each image pickup unit are provided side by side on the left and right sides of the front of the camera housing. ing. Then, a subject image for the right eye is photographed through the right photographing lens system, and a subject image for the left eye is photographed through the left photographing lens system.
  • a compound-eye stereoscopic image capturing apparatus having two image capturing units captures a monocular two-dimensional image (planar image: hereinafter also referred to as a 2D image) because each image capturing unit includes an expensive photographing lens system and image sensor. The cost of the image pickup unit is doubled compared to a camera that performs this.
  • Patent Document 3 proposes a three-dimensional image pickup apparatus that has two systems of a right photographic lens system and a left photographic lens system, but uses only one image sensor.
  • each pixel (photoelectric conversion element) of this image sensor a part of the microlens provided above is shielded from light, and the light shielding range is shifted left and right, so that incident light from the right photographing lens system is incident. And a left pixel group that receives only incident light from the left photographic lens system.
  • image data obtained from the right pixel group and image data obtained from the left pixel group are image data having parallax, a stereoscopic image can be captured.
  • this stereoscopic image capturing apparatus also has two photographing lens systems, the cost of the image capturing unit is increased.
  • Patent Document 4 proposes a three-dimensional image pickup apparatus in which a photographing lens system is also one system.
  • Patent Document 4 also discloses a method of obtaining a plurality of image data with parallax by one imaging by providing a microlens array between a photographic lens system and an imaging element.
  • the cost of the image capturing unit can be suppressed.
  • a microlens array is required to obtain a plurality of pieces of image data by one shooting, and an optical system including the shooting lens system and the microlens array is designed. Becomes difficult.
  • the present invention has been made in view of the above circumstances, and provides a stereoscopic image imaging device capable of easily and easily obtaining a plurality of parallax imaging data at the same time and suppressing the manufacturing cost. With the goal.
  • the stereoscopic image capturing apparatus of the present invention is a stereoscopic image capturing apparatus having a single imaging optical system and a single imaging element that receives light passing through the imaging optical system.
  • a lens system and a diaphragm, and the imaging element includes two or four types of pixels that receive light that has passed through different pupil regions of the photographing optical system, and the two or four types of pixels are in plan view.
  • a shielding part that is arranged two-dimensionally in a horizontal direction and a vertical direction perpendicular to the horizontal direction and shields a part of the aperture of the diaphragm and restricts light incident on the image sensor, as viewed in the optical axis direction
  • the aperture of the diaphragm is shielded by the shielding portion by controlling the shielding portion and shielding a portion of the opening so as to equally divide the aperture of the diaphragm into at least one of the horizontal direction and the vertical direction.
  • a stereoscopic image pickup apparatus that can simultaneously and easily obtain a plurality of pieces of imaging data with parallax and that can suppress the manufacturing cost.
  • FIG. 1 is an external perspective view of a monocular stereoscopic image pickup apparatus according to an embodiment of the present invention.
  • Functional block diagram of the stereoscopic image capturing apparatus 10 shown in FIG. Surface schematic diagram of the image sensor 100 shown in FIG.
  • stacked on each pixel of FIG. The figure which shows the positional relationship of the micro lens (circle) 38 above each pixel, and a light shielding film opening.
  • the figure which shows the incident angle sensitivity characteristic of two pixels which comprise the pair pixel of the image pick-up element 100 The figure which shows the characteristic in the case of separating completely the incident angle sensitivity characteristic of two pixels which comprise the pair pixel of the image pick-up element 100
  • FIG. 1 The figure explaining changing the width
  • FIG. 18 is a schematic diagram of the surface of an image sensor 300 which is a modification of the image sensor 200 in the stereoscopic image capturing apparatus 20 shown in FIG.
  • FIG. 1 is an external perspective view of a monocular stereoscopic image capturing apparatus according to an embodiment of the present invention.
  • a lens barrel 13 that houses a single photographing lens system 12 is attached to a front portion of a camera housing 11 so as to be retractable.
  • a shutter release button 14 is provided at the upper right end portion of the camera casing 11, and a display section (display section 25 in FIG. 2) not shown in FIG. 1 is provided at the back of the camera casing 11.
  • FIG. 2 is a functional block diagram of the stereoscopic image capturing apparatus 10 shown in FIG.
  • a diaphragm (iris) 16 is disposed on the back of the photographing lens system 12, and the photographing lens system 12 and the diaphragm 16 constitute a photographing optical system.
  • the back of the diaphragm 16 is provided with an image sensor 100 which will be described later in detail through a liquid crystal shutter 15 which will be described later in detail.
  • a captured image signal corresponding to a subject light image incident on the light receiving surface of the image sensor 100 through the photographing lens system 12, the diaphragm 16, and the liquid crystal shutter 15 in this order is converted into digital data by an analog-digital (AD) conversion unit 17. And output to the bus 18.
  • AD analog-digital
  • the bus 18 includes a central control unit (CPU) 21 that performs overall control of the entire stereoscopic image capturing apparatus 10, an operation unit 22 including operation buttons including a shutter release button 14, a DSP 21, and the like.
  • An image processing unit 23 that performs well-known image processing on the captured image signal based on the instruction, a video encoder 24 that converts captured image data obtained by performing image processing on the captured image signal, to display data,
  • a driver 26 for displaying captured image data converted by the video encoder 24 on the display unit 25, a memory 27, and a media control unit 28 are connected, and a recording medium (memory card) 29 is detachably attached to the media control unit 28.
  • the display unit 25 is, for example, a scan backlight type liquid crystal display unit, and is a display unit that can display right-eye image data and left-eye image data to display a stereoscopic image of a subject.
  • a device control unit 31 is connected to the CPU 21.
  • the device control unit 31 performs drive control of the image sensor 100 according to an instruction from the CPU 21, performs aperture amount adjustment control of the diaphragm 16, performs drive control of the liquid crystal shutter 15, and performs focus position control and zoom of the photographing lens system 12. Perform position control.
  • FIG. 3 is a schematic view of the surface of the image sensor 100 shown in FIG.
  • a plurality of photodiodes (photoelectric conversion elements: pixels) 33 are arranged in a two-dimensional array in a horizontal direction X and a vertical direction Y orthogonal to the planar view in a surface portion of a semiconductor substrate. An array is formed.
  • a so-called honeycomb pixel array is formed in which even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows, and the light-receiving surface area of each pixel is a square pixel array. Can be wider than the case.
  • the horizontal direction X and the ground are parallel with the shutter release button 14 facing the sky as shown in FIG.
  • a vertical charge transfer path (VCCD) 34 is formed along each pixel column composed of the pixels 33, and a line memory (LM) 35 is formed along the transfer direction end of each vertical charge transfer path 34.
  • a horizontal charge transfer path (HCCD) 36 is formed in parallel with the line memory 35, and a voltage value signal corresponding to the charge amount of the transferred signal charge is output to the end of the horizontal charge transfer path 36 in the transfer direction as an imaging signal.
  • An amplifier 37 is provided.
  • the vertical charge transfer path 34 is composed of a buried channel formed in the semiconductor substrate and a number of transfer electrode films stacked on the buried channel through an insulating film formed on the surface of the semiconductor substrate.
  • the line memory 35 includes a signal charge temporary storage buffer 35a for each vertical charge transfer path 34, and a signal sent from the vertical charge transfer path 34 as described in, for example, Japanese Patent Application Laid-Open No. 2006-157624. It has a function of performing pixel addition (mixing of signal charges) in the horizontal direction X by temporarily holding charges and controlling the timing when the signal charges are transferred to the horizontal charge transfer path 36.
  • RGB color filters are Bayer-arranged above all the pixels in the odd-numbered pixel rows (hereinafter also referred to as group A), and all the pixels in the even-numbered pixel rows are arranged.
  • An rgb color filter is arranged in a Bayer array above (hereinafter referred to as “B group”).
  • FIG. 4 is a diagram showing only the arrangement of the color filters RGBrgb stacked on each pixel of FIG.
  • the group A pixels and the group B pixels, which are provided on the same plane on average, are provided in a one-to-one correspondence with each other, so the number of pixels in the group A and the number of pixels in the group B are the same. Become.
  • a readout pulse is applied to the readout electrode / transfer electrode V2 among the vertical transfer electrodes V1 to V8 in FIG. 3 to read out the signal charges of B ⁇ G ⁇ B ⁇ G ⁇ to the vertical charge transfer path 34, which are divided into two stages.
  • the readout pulse is applied to the readout electrode / transfer electrode V4 after the partial transfer, the signal charges of g, b, g,... Are read out at the above-mentioned position ⁇ , and the signal charge of bBgGbBgG. Will be lined up.
  • two pixels of the same color of b + B, g + G, b + B, and g + G can be added.
  • Microlenses are stacked on each pixel 33 (on the color filter) shown in FIG. 3, and a light-shielding film opening is provided above the light receiving surface of each pixel 33 (under the color filter). However, these are not shown in FIG.
  • FIG. 5 is a diagram showing the positional relationship between the microlens (circular shape) 38 above each pixel and the opening of the light shielding film.
  • the light shielding film opening 33a is eccentrically provided on the left side of the microlens 38 with respect to the center of the microlens (when the image sensor 100 is viewed from the subject side).
  • the light shielding film opening 33b is eccentrically provided on the right side with respect to the microlens center with respect to the microlens 38.
  • the A group and the B group are shifted from each other in the vertical direction Y and the horizontal direction X by 1 ⁇ 2 of the pixel pitch, so that the same color pixels (R and r, G and g, B and b) Are arranged obliquely adjacent to each other.
  • one light shielding film opening 33a of the paired pixels is eccentric to the left side, and the other light shielding film opening 33b is eccentric to the right side. become.
  • the same subject incident through the photographing optical system is used.
  • the incident angles of the light beams are limited so as to be opposite to each other.
  • the captured image signal of the group A received through the light shielding film opening 33a is obtained by viewing the subject with the right eye, and the group B received through the light shielding film opening 33b.
  • the captured image signal is obtained by viewing the subject with the left eye, and parallax occurs as shown in the lower part of FIG.
  • the portion of the subject that is in focus between the A group pixel and the B group pixel is brought into focus at the same position and forms an image on each of the A group pixel and the B group pixel.
  • a blurred image is created at a position shifted to the left and right by the group A pixel (right eye image) and the group B pixel (left eye image).
  • this blurred image changes as a left-right shift amount (parallax) according to the difference in subject distance with respect to the in-focus distance
  • the captured image signal of group A and the captured image signal of group B are used as the left and right captured image signals.
  • a three-dimensional image can be captured with a single photographing optical system and a single image sensor.
  • the image processing unit 23 in FIG. 2 When reproducing a stereoscopic image, the image processing unit 23 in FIG. 2 generates one piece of right-eye captured image data from the group A captured image signal, stores it in the memory card 29, and stores the right-eye image in the display unit 25.
  • the image data is displayed, one left-eye captured image data is generated from the group B captured image signal, stored in the memory card 29, and the left-eye captured image data is displayed on the display unit 25, so that the stereoscopic image of the subject is displayed. Is displayed on the display unit 25.
  • FIG. 7 is a diagram illustrating incident angle sensitivity characteristics of two pixels constituting a pair pixel of the image sensor 100.
  • the reference symbol TL indicates the incident angle sensitivity characteristic of the A group pixel having the light shielding film opening 33a above
  • the reference symbol TR indicates the B group pixel having the light shielding film opening 33b above.
  • It is an incident angle sensitivity characteristic.
  • What is indicated by reference numeral T1 is, for example, the incident angle sensitivity characteristic of a virtual pixel in which the center of the microlens 38 and the center of the light shielding film opening 33a coincide with each other in the group A pixels shown in FIG.
  • the horizontal axis represents the incident angle
  • the vertical axis represents the sensitivity.
  • the incident angle is 0 ° when light is incident perpendicularly to the center of the microlens 38 above the pixel, and the light beam incident on the center is inclined in the horizontal direction (the pupil division direction of the paired pixels) as the angle is increased. Is supposed to grow. Specifically, when the light beam incident on the center of the microlens 38 is tilted to the right in the horizontal direction, the numerical value on the right side of the horizontal axis in FIG. 7 increases, and when the light beam is tilted to the left in the horizontal direction, The number on the left side of the axis increases.
  • the incident angle sensitivity characteristics of the two pixels constituting the paired pixel of the image sensor 100 have substantially the same shape, and the peak positions of the respective sensitivity are separated from the vertical axis by an equal distance.
  • the incident angle sensitivity characteristics of the two pixels constituting the paired pixel are in a line-symmetric relationship with respect to the vertical axis (the axis of sensitivity when the incident angle is 0 °).
  • the incident angle sensitivity characteristics of the two pixels constituting the paired pixel are such that the incident angle range having the sensitivity of one pixel overlaps the incident angle range having the sensitivity of the other pixel (indicated by reference numeral T2 in FIG. 7). Have a range).
  • the range surrounded by the waveform TR and the horizontal axis shown in FIG. 7 corresponds to the amount of light passing through the first pupil region of the imaging optical system, and the range surrounded by the waveform TL and the horizontal axis is the imaging optical system.
  • the third pupil region corresponding to the amount of light passing through the second pupil region, and the range surrounded by the waveform T1 and the horizontal axis includes the first pupil region and the second pupil region of the imaging optical system This corresponds to the amount of light passing through. That is, the two pixels constituting the pair pixel are divided into pupils so as to receive light that has passed through different pupil regions of the photographing optical system.
  • the pupil regions through which the light received by each of the two pixels constituting the pair pixel passes are pupil-divided so as to overlap each other in the vicinity of the optical axis.
  • the overlapping range T2 shown in FIG. It is preferable to completely separate the incident angle sensitivity characteristics.
  • the image pickup device 100 of the present embodiment has a problem that it is difficult to obtain a good parallax when the sensitivity is increased, and conversely, the sensitivity is lowered when a good parallax is obtained.
  • the image sensor 100 has the incident angle sensitivity characteristic shown in FIG. 7 in which the sensitivity is given priority over the parallax, and is provided between the image sensor 100 and the diaphragm 16. Even if the liquid crystal shutter 15 has the incident angle sensitivity characteristic shown in FIG. 7, the light incident on the image sensor 100 is limited so that a good parallax can be obtained.
  • FIG. 9 is a perspective view of the photographic lens system 12, the diaphragm 16, the liquid crystal shutter 15, and the image sensor 100 in the stereoscopic image capturing apparatus 10 shown in FIG.
  • the diaphragm 16 disposed on the back of the photographing lens system 12 adjusts the amount of light incident on the image sensor 100 behind it by changing the size of the opening 16a.
  • the liquid crystal shutter 15 transmits and blocks light by causing an alignment change of the liquid crystal molecules by applying or removing a voltage to the liquid crystal molecules.
  • the liquid crystal layer of the liquid crystal shutter 15 only needs to be large enough to cover the opening 16a at the maximum opening of the diaphragm 16 when viewed from the optical axis direction.
  • the liquid crystal shutter 15 can form a transmission region that transmits light that has passed through the diaphragm 16 and a non-transmission region that does not transmit light that has passed through the diaphragm 16 at any position of the liquid crystal layer.
  • liquid crystal shutter 15 and the stop are arranged close to each other (ideally in contact with each other), as shown in FIG. 9, a part of the opening 16a (by a non-transmissive region 15a formed in the liquid crystal shutter 15 ( The region having substantially the same area as the non-transmissive region 15a) is completely shielded.
  • the device in the 3D mode (stereoscopic shooting mode) for recording captured image data (a plurality of captured image data having parallax) in a format that allows a stereoscopic image to be reproduced by one imaging, the device
  • the control unit 31 forms a non-transmissive region 15a in the liquid crystal shutter 15 for shielding a part of the opening 16a so that the opening 16a when viewed in the optical axis direction is equally divided into two in the horizontal direction X.
  • the incident angle sensitivity characteristics TR and TL of the paired pixels are as shown in FIG.
  • the range indicated by the symbol T3 is an incident angle range in which the sensitivity cannot be obtained by the non-transmissive region 15a. If the width of the incident angle range in the horizontal axis direction is the same as the width of the overlapping range T2 shown in FIG. 7, the overlapping range T2 is removed, and the incident angle sensitivity characteristics of the paired pixels are completely separated. can do. Therefore, the width in the horizontal direction X of the non-transmissive region 15a is set so that such a range T3 is obtained.
  • the incident angle sensitivity characteristics can be completely separated between the A group and the B group while the sensitivity of each pixel is higher than that of the example shown in FIG. .
  • the degree of separation is greater than that shown in FIG. Therefore, stereoscopic imaging that achieves both good parallax and high sensitivity is possible.
  • the overlapping range T2 shown in FIG. 7 is a value when the aperture value (F value) is an arbitrary value, and when the F value changes, the width of the overlapping range T2 also changes. Therefore, it is preferable that the device control unit 31 changes the width in the horizontal direction X of the non-transmissive region 15a formed in the liquid crystal shutter 15 according to the F value of the diaphragm 16.
  • the device control unit 31 decreases the width in the horizontal direction X of the non-transmissive region 15a as the F value increases.
  • FIG. 12 is an explanatory diagram when a 2D image is captured by the image sensor 100.
  • the device control unit 31 performs imaging without forming the non-transmissive region 15a on the liquid crystal shutter 15, and the group A and group B The image pickup signals of two pixels of the same color as a pair are added together and output from the image pickup device 100.
  • the signal charges of the paired pixels indicated by the ellipses in FIG. 12 are pixel-added (added together signal charges) using the above-described line memory 35 of FIG. It is possible to obtain the same number of imaging signals as the total number of pairs, and to process the captured image signals, which are a set of these imaging signals, to obtain 2D captured image data. It becomes possible.
  • the captured image signals of all the pixels in the A group are read out
  • the captured image signals of all the pixels in the B group are read out
  • the image processing unit 23 adds the image signals obtained from the paired pixels (adds the captured image signals).
  • the captured image signal after pixel addition can be processed to obtain 2D captured image data.
  • the captured image signal of the A group and the captured image signal of the B group are displaced from each other in the positions of the left and right blurred images in the A group and the B group, false resolution occurs when this is displayed as a 2D image.
  • the blurred portion is A single 2D image is synthesized without discrimination between the A group and B group pixels, and a high-quality 2D image can be acquired.
  • the incident angle sensitivity characteristic after pixel addition of the paired pixels is as shown by reference numeral T4 in FIG. 13, and the defocused image is not separated, A high-quality 2D image can be acquired.
  • the image sensor 100 of the embodiment has the color filter array shown in FIGS. 3 and 4, the 2D captured image signal after pixel addition of the captured image signal of the A group and the captured image signal of the B group is performed.
  • the color array becomes a Bayer array, and an existing image processing technique for the Bayer array can be used, thereby facilitating image processing.
  • FIG. 14 is a flowchart for explaining the imaging operation of the stereoscopic image capturing apparatus 10 shown in FIG. In the following description, it is assumed that the entire surface of the liquid crystal shutter 15 is in a transmissive state before the operation is started.
  • the CPU 21 determines whether the shooting mode is the 3D mode or the 2D mode (step S1).
  • step S2 If the shooting mode is the 3D mode, the process proceeds to step S2. If the shooting mode is the 2D mode, the process proceeds to step S7.
  • step S2 the CPU 21 performs provisional imaging with the image sensor 100, performs AE / AF processing based on the captured image signal obtained by the provisional imaging, and determines the F value, shutter speed, and focus position of the photographic lens system 12. To do. Note that the time required for the AE / AF processing can be shortened by using one of the two types of pixel groups of the A group and the B group as the captured image signal read from the image sensor 100 in the temporary imaging. .
  • step S2 the CPU 21 forms the non-transmissive region 15a in the liquid crystal shutter 15 via the device control unit 31 (step S3).
  • the width of the non-transmissive region 15a in the horizontal direction X is set to a width corresponding to the F value determined in step S2.
  • step S3 When there is an imaging instruction from the user after step S3, the CPU 21 performs the main imaging by the imaging device 100 according to the F value, shutter speed, and focus position determined in step S2 (step S4).
  • the CPU 21 reads the captured image signal from the A group and reads the captured image signal from the B group (step S5).
  • the read captured image signal is processed by the image processing unit 23, and right-eye captured image data is generated from the A-group captured image signal, and left-eye captured image data is generated from the B-group captured image signal. These are recorded on the memory card 29 and displayed on the display unit 25 in three dimensions (step S6).
  • step S ⁇ b> 7 the CPU 21 performs provisional imaging with the image sensor 100, performs AE / AF processing based on the captured image signal obtained by provisional imaging, and determines the F value, shutter speed, and focus position of the imaging lens system 12. To do.
  • step S7 the CPU 21 performs the main imaging with the image sensor 100 according to the determined F value, shutter speed, and focus position while keeping the entire surface of the liquid crystal shutter 15 in the transmissive state (step S8).
  • the CPU 21 adds the imaging signals of the same two pixels as the pair pixels of the A group and the B group, and outputs them from the imaging device 100 (step S9).
  • the captured image signal after pixel addition output from the image sensor 100 is processed by the image processing unit 23 to generate 2D captured image data, and the 2D captured image data is recorded in the memory card 29. 2D display is performed on the display unit 25 (step S10).
  • high-quality 2D captured image data and high-quality 3D captured image data can be obtained.
  • this stereoscopic image capturing apparatus 10 since it is possible to perform stereoscopic imaging with a single optical system and a single imaging element, it is possible to reduce manufacturing costs and to capture two captured images with parallax in one shooting. Data can be obtained simultaneously. Further, according to the stereoscopic image capturing apparatus 10, it is not necessary to use a microlens array as described in Patent Document 4, and an optical system can be easily designed.
  • the stereoscopic imaging device of the present invention has a simple device configuration having a single optical system and a single imaging device, the device is downsized.
  • the width in the horizontal direction X of the non-transmissive region 15a formed in the liquid crystal shutter 15 in the 3D mode may be determined according to information other than the F value.
  • the width of the non-transmissive region 15a may be determined according to the shooting distance (subject distance).
  • the width of the non-transmissive region 15a may be determined according to the focal length.
  • the sensitivity characteristics are difficult to separate with a pair of pixels, and when shooting a close-up image, the sensitivity characteristics are easily separated with a pair of pixels. For this reason, when the shooting distance is short, it is effective to prioritize sensitivity and narrow the width of the non-transmissive region 15a. On the other hand, when the shooting distance is long, it is effective to increase the width of the non-transmissive region 15a by giving priority to parallax. From the above, it is preferable that the device control unit 31 increases the width of the non-transmissive region 15a as the photographing distance increases.
  • the focal length when the focal length is short, it is difficult to separate the sensitivity characteristics at the paired pixels, and when the focal length is long, the sensitivity characteristics are easily separated at the paired pixels. For this reason, when the focal length is long, it is effective to narrow the width of the non-transmissive region 15a with priority on sensitivity. On the other hand, when the focal length is short, it is effective to widen the width of the non-transmissive region 15a by giving priority to parallax. From the above, it is preferable that the device control unit 31 increases the width of the non-transmissive region 15a as the focal length is shorter.
  • the width in the horizontal direction X of the non-transmissive region 15a may be determined according to the shooting scene.
  • the width of the non-transmissive region 15a may be set to zero so as to aim for high sensitivity.
  • the width in the horizontal direction X of the non-transmissive region 15a may be determined according to any one of the F value, the shooting distance, the focal length, and the shooting scene, or any of the shooting distance or focal length, the F value, and the shooting scene. You may decide in consideration of heel.
  • the width of the non-transmissive region 15a may be adjusted according to the F value after the width of the non-transmissive region 15a is set so as to eliminate the overlapping range T2 according to the photographing distance or the focal length.
  • the width of the non-transmissive area 15a may be adjusted according to the photographing scene after the width of the non-transmissive area 15a is set so as to eliminate the overlapping range T2 according to the photographing distance or the focal distance.
  • the width of the non-transmissive region 15a may be stored for each combination of the shooting distance or focal length and the F value, and when the combination is determined, the width corresponding to the combination may be set.
  • the width of the non-transmissive region 15a may be stored for each combination of the shooting distance or focal distance and the shooting scene, and when the combination is determined, the width corresponding to the combination may be set.
  • the image sensor 100 using a charge coupled device (CCD) as a signal readout circuit has been described.
  • an image sensor using a transistor circuit such as a CMOS type as the signal readout circuit is also applicable.
  • the pixels in the odd-numbered rows have a pixel array (so-called honeycomb pixel array) in which the pixels in the odd-numbered rows are shifted by 1 ⁇ 2 pixel pitch.
  • the array may be a square array.
  • FIG. 15 is a diagram showing a modification of the pixel array of the image sensor shown in FIG.
  • blocks with letters (R, G, B) corresponding to the color filter are pixels in the A group
  • blocks with letters (r, g, b) corresponding to the color filter are in the B group.
  • the group B exists at a position where the group A is shifted in the horizontal direction by a half of the pixel pitch, and two pixels of the same color adjacent in the horizontal direction are paired pixels.
  • FIG. 16 is a diagram showing another modification of the pixel array of the image sensor shown in FIG.
  • blocks with letters (R, G, B) corresponding to the color filter are pixels of the A group
  • blocks with letters (r, g, b) corresponding to the color filter are of the B group.
  • the B group exists at a position where the A group is shifted in the vertical direction by 1/2 of the pixel pitch, and two pixels of the same color adjacent in the vertical direction are paired pixels.
  • the paired pixels are pupil-divided by decentering the light-shielding film openings of the paired pixels in opposite directions, and two captured image signals having parallax are obtained. I try to get it. However, the pupil division can be realized without decentering the light shielding film opening.
  • the opening 52a of the light shielding film 52 of the pair of pixels 51a and 51b is opened over the entire light receiving surface of each of the pixels 51a and 51b.
  • one pair of ellipse (elliptical) microlenses 53 is mounted on the pair of pixels 51a and 51b, and incident light from the same subject with different incident angles (light that has passed through different pupil regions of the photographing optical system). May be incident on each of the pair of pixels 51a and 51b.
  • FIG. 18 is a functional block diagram of a stereoscopic image capturing apparatus 20 according to another embodiment instead of FIG.
  • the basic configuration is the same as that of the stereoscopic image capturing apparatus 10 illustrated in FIG. 2, except that the image sensor 100 is changed to the image sensor 200 and the posture sensor 30 is added. The description thereof is omitted.
  • the attitude sensor 30 detects the attitude of the stereoscopic image capturing apparatus 20, and is constituted by a gyro sensor, for example.
  • FIG. 19 is a schematic surface view showing an example of the image sensor 200 shown in FIG. In this example, a CCD image sensor is illustrated, but a CMOS image sensor may be used.
  • An image sensor 200 shown in FIG. 19 has a plurality of pixels 41 arranged in a two-dimensional array on a light receiving surface of a semiconductor substrate in a horizontal direction X and a vertical direction Y perpendicular to the horizontal direction, and in the example shown in a square lattice.
  • a vertical charge transfer path (VCCD) 42 is formed along the pixel column.
  • a line memory 43 is formed along the transfer direction end of each vertical charge transfer path 42, a horizontal charge transfer path (HCCD) 44 is formed in parallel with the line memory 43, and an output end of the horizontal charge transfer path 44 is An amplifier 45 that outputs a voltage value signal corresponding to the transferred signal charge amount as an imaging signal is provided.
  • HCCD horizontal charge transfer path
  • the horizontal direction X of the image sensor 200 is parallel to the ground in the horizontal shooting state (the state shown in FIG. 1), and the three-dimensional image pickup device 90 degrees from the vertical shooting state (the state shown in FIG. 1).
  • the vertical direction Y of the image sensor 200 is parallel to the ground.
  • the line memory 43 includes a buffer 43a for temporarily storing signal charges for each vertical charge transfer path 42, and a signal sent from the vertical charge transfer path 42 as described in, for example, Japanese Patent Application Laid-Open No. 2006-157624. By holding the charge temporarily and controlling the timing when the signal charge is transferred to the horizontal charge transfer path 44, it has a function of performing pixel addition (mixing of signal charges) in the horizontal direction.
  • the color filters are arranged so that the color arrangement for each set is a Bayer arrangement as a whole.
  • each set of four pixels receives light passing through different pupil regions of the photographing optical system.
  • two adjacent pixels two pixels adjacent in the horizontal direction and two pixels adjacent in the vertical direction
  • pupils are divided into pupils as shown in FIG. It is line symmetric in the direction and has an overlapping range T2.
  • R, G, and B described in the center of the four pixels in each set represent the color of the color filter.
  • pixel A is on the upper left
  • pixel B is on the upper right
  • pixel C is on the lower left
  • Pixel D is the diagonally lower right.
  • the total number of pixels A, the total number of pixels B, the total number of pixels C, and the total number of pixels D are the same.
  • FIG. 21 shows a tree 49 as a subject.
  • the photographer's eyes are present on the front side of the sheet of FIG. 21 and the subject tree 49 is viewed through the four pixels of each group, as shown in FIG.
  • Captured image signals viewed from above (viewpoint A) are acquired, all sets of pixels B acquire captured image signals viewed from the upper right (viewpoint B) of the tree 49, and all sets of pixels C are stored in the tree.
  • the captured image signal obtained by viewing 49 from the lower left (viewpoint C) is acquired, and all the sets of pixels D acquire the captured image signal obtained by viewing the tree 49 from the lower right (viewpoint D).
  • the stereoscopic image capturing apparatus 20 can satisfactorily capture a stereoscopic image in both vertical shooting and horizontal shooting.
  • the image pickup signal of the pixel A and the image pickup signal of the pixel C are added together, and the image pickup signal of the pixel B and the image pickup signal of the pixel D are added together.
  • the captured image signal (A + C) and the captured image signal (B + D) are read out from the set.
  • This pixel addition may be performed in the image sensor 200 or in the image processing unit 23.
  • the image processing unit 23 processes the read captured image signal (A + C) to generate left eye captured image data, and processes the read captured image signal (B + D) to generate right eye captured image data.
  • the image pickup signal of the pixel C and the image pickup signal of the pixel D are pixel-added in each set of the image pickup elements 200 to pick up the image of the pixel A.
  • the signal and the image pickup signal of the pixel B are added to the pixel, and the image pickup image signal (C + D) and the image pickup image signal (A + B) are read from all sets.
  • the image processing unit 23 processes the read captured image signal (C + D) to generate left-eye captured image data, and processes the read captured image signal (A + B) to generate right-eye captured image data.
  • the pixel A image pickup signal and the pixel B image pickup signal are pixel-added in each set of the image pickup elements 200 to pick up the pixel C.
  • the signal and the imaging signal of the pixel D are added to the pixel, and the captured image signal (A + B) and the captured image signal (C + D) are read out from all the sets.
  • the image processing unit 23 processes the read captured image signal (A + B) to generate left eye captured image data, and processes the read captured image signal (C + D) to generate right eye captured image data.
  • the parallax direction of the two captured image data is the horizontal direction X in the horizontal shooting
  • the parallax direction of the two captured image data is the vertical direction Y in the vertical shooting.
  • the device control unit 31 of the stereoscopic image capturing apparatus 20 extends in the vertical direction Y so as to equally divide the opening 16a into two in the horizontal direction X, as shown in FIG. 23A.
  • a non-transmissive region 15 a is formed in the liquid crystal shutter 15.
  • the device control unit 31 of the stereoscopic image capturing apparatus 20 extends in the horizontal direction X so as to equally divide the opening 16a into two in the vertical direction Y, as shown in FIG. 23B of FIG.
  • a non-transmissive region 15 a is formed in the liquid crystal shutter 15.
  • the CPU 21 determines whether to shoot vertically or horizontally based on the state from the posture sensor 30.
  • FIG. 24 is a flowchart for explaining the imaging operation of the stereoscopic image capturing apparatus 20 shown in FIG.
  • the CPU 21 determines whether the shooting mode is the 3D mode or the 2D mode (step S21).
  • step S22 If the shooting mode is the 3D mode, the process proceeds to step S22. If the shooting mode is the 2D mode, the process proceeds to step S29.
  • step S22 the CPU 21 performs provisional imaging with the image sensor 200, performs AE / AF processing based on the captured image signal obtained by the provisional imaging, and determines the F value, shutter speed, and focus position of the photographic lens system 12. To do.
  • the captured image signal read from the image sensor 200 by provisional imaging includes four types of pixel groups: a pixel group including the pixel A, a pixel group including the pixel B, a pixel group including the pixel C, and a pixel group including the pixel D. By using any one of them, the time required for the AE / AF processing can be shortened.
  • step S22 the CPU 21 determines the attitude of the stereoscopic image capturing apparatus 20 based on information from the attitude sensor 30 (step S23).
  • step S24 If the stereoscopic image capturing apparatus 20 is in a posture for performing vertical shooting, the process proceeds to step S24. If the posture of the stereoscopic image capturing apparatus 20 is in a position for performing horizontal shooting, the process proceeds to step S25.
  • step S24 the CPU 21 forms a non-transmissive region 15a extending in the horizontal direction X as shown in FIG. 23B in the liquid crystal shutter 15 via the device control unit 31.
  • the width in the vertical direction Y of the non-transmissive region 15a can be determined according to the F value, the shooting distance, the focal length, and the shooting scene as described in the first embodiment.
  • step S25 the CPU 21 forms a non-transmissive region 15a extending in the vertical direction Y as shown in FIG. 23A in the liquid crystal shutter 15 via the device control unit 31.
  • the width in the horizontal direction X of the non-transmissive region 15a can be determined according to the F value, the shooting distance, the focal length, and the shooting scene as described in the first embodiment.
  • the CPU 21 When there is an imaging instruction from the user after steps S24 and S25, the CPU 21 performs main imaging with the imaging element 200 according to the F value, shutter speed, and focus position determined in step S22 (step S26).
  • the CPU 21 reads a captured image signal from the image sensor 200 (step S27).
  • the read captured image signal is processed by the image processing unit 23 to generate captured image data for the right eye and captured image data for the left eye, which are recorded in the memory card 29 and used.
  • a three-dimensional image is displayed on the display unit 25 (step S28).
  • step S29 that proceeds when the shooting mode is the 2D mode, the CPU 21 performs provisional imaging with the image sensor 200, performs AE / AF processing based on the captured image signal obtained by the provisional imaging, and obtains an F value and a shutter. The speed and the focus position of the taking lens system 12 are determined.
  • step S29 the CPU 21 performs the main imaging with the image sensor 200 according to the determined F value, shutter speed, and focus position while keeping the entire surface of the liquid crystal shutter 15 in the transmissive state (step S30).
  • the CPU 21 adds the imaging signals of all the pixels in the group within the imaging device 200, and outputs the captured image signal (A + B + C + D) from all the groups (step S31).
  • the captured image signal (A + B + C + D) output from the image sensor 200 is processed by the image processing unit 23 to generate 2D captured image data.
  • the 2D captured image data is recorded on the memory card 29 and displayed. 2D is displayed on the part 25 (step S32).
  • high-quality 2D captured image data and high-quality 3D captured image data can be obtained.
  • high-quality 3D captured image data can be obtained in either vertical shooting or horizontal shooting.
  • FIG. 25 is a schematic view of the surface of an image sensor 300 that is a modification of the image sensor 200 in the stereoscopic image capturing apparatus 20 shown in FIG.
  • a CCD image sensor is used, but a CMOS image sensor may be used.
  • even-numbered pixel rows are arranged with a 1 ⁇ 2 pixel pitch shifted from odd-numbered pixel rows, and a vertical charge transfer path formed along each pixel column.
  • 19 is different from FIG. 19 in that the (VCCD) 42 is provided meandering so as to avoid each pixel 41, the same members as those in FIG.
  • color filters of the same color are stacked as one set of four pixels.
  • the pixel arrangement of the four adjacent pixels constituting one set is a configuration in which squares constituted by four pixels are arranged in a diamond shape, and one microlens is set for each set. 47 and the same color filter are laminated.
  • the pixel A provided at the left corner of the rhombus-shaped array, the pixel B provided at the upper corner, the pixel C provided at the lower corner, and the pixel D provided at the right corner are provided below one microlens. Splitting is performed.
  • Pixel A and pixel D, and pixel C and pixel B have incident angle sensitivity characteristics as shown in FIG. 7, with the horizontal axis as the pupil division direction.
  • FIG. 27 is a diagram showing viewpoint positions A to D when the image of the tree 49 is viewed through the pixels A to D of FIG.
  • the viewpoint A pixel A
  • the viewpoint B pixel B
  • the viewpoint C pixel C
  • the viewpoint D sees the subject 49 slightly from the right side.
  • the stereoscopic image capturing apparatus 20 equipped with such an image sensor 300 generates right-eye captured image data and left-eye captured image data as follows.
  • the captured image signal (A) is read from all the pixels A
  • the captured image signal (D) is read from all the pixels D.
  • the image processing unit 23 processes the read captured image signal (A) to generate left eye captured image data, and processes the read captured image signal (D) to generate right eye captured image data.
  • the captured image signal (B) is read from all the pixels B
  • the captured image signal (C) is read from all the pixels C.
  • the image processing unit 23 processes the read captured image signal (B) to generate left eye captured image data, and processes the read captured image signal (C) to generate right eye captured image data.
  • the captured image signal (C) is read from all the pixels C
  • the captured image signal (B) is read from all the pixels B.
  • the image processing unit 23 processes the read captured image signal (C) to generate left eye captured image data, and processes the read captured image signal (B) to generate right eye captured image data.
  • the device control unit 31 forms the non-transmissive region 15a as shown in FIG. 23A in FIG. 23 in the case of horizontal shooting, and non-display as shown in FIG. 23B of FIG. 23 in the case of vertical shooting.
  • a transmissive region 15a is formed.
  • the parallax in the horizontal direction (between pixel A and pixel D) of the image sensor 300 in FIG. This is wider than the parallax of the element 200 in the horizontal direction (between pixel A and pixel B, between pixel C and pixel D), and is advantageous as data of a stereoscopic image.
  • three 3D image data can be obtained by one imaging as follows.
  • the right-eye captured image data (A + C) based on the captured image signal obtained by adding the captured image signal of the pixel A and the captured image signal of the pixel C illustrated in FIG. 20, the captured image signal of the pixel B, and the captured image of the pixel D
  • One 3D captured image data (A + C: B + D) is generated from the captured image data (B + D) for the left eye based on the captured image signal obtained by adding the image signals, and the captured image signal of the pixel A and the captured image signal of the pixel B are generated.
  • One 3D captured image data (A + B: C + D) is generated, the captured image signal for the right eye (C + D) based on the captured image signal obtained by adding the captured image signal of the pixel C and the captured image signal of the pixel D, and the pixel Image signal and one 3D image data from the left-eye image data (A + B) based on the captured image signal obtained by adding an image signal of a pixel B (C + D: A + B) can be generated.
  • 3D captured image data (A + C: B + D), 3D captured image data (A + B: C + D), and 3D captured image data (C + D: A + B) are generated and recorded at the time of actual imaging, and according to the viewpoint of the user at the time of playback. By reproducing any of these, it is possible to reproduce a 3D image corresponding to a change in the user's viewpoint.
  • the user's viewpoint the direction of the line connecting the right eye and the left eye
  • 3D captured image data A + C: B + D
  • the user can play the 3D captured image data (A + B: C + D) or 3D captured image data (C + D: A + B) having a parallax in the vertical direction without any problem. Stereoscopic viewing can be performed.
  • the device control unit 31 equally divides the opening 16a into four in the horizontal direction X and the vertical direction Y as shown in FIG. 28 in the 3D mode.
  • a non-transmissive region 15 b is formed in the liquid crystal layer of the liquid crystal shutter 15.
  • the device control unit 31 performs similar control, so that three 3D captured image data having good parallax can be obtained by one imaging. .
  • the three 3D captured image data may be generated after the main imaging is completed and before being recorded on the memory card 29.
  • the four viewpoints of the captured image data are recorded on the memory card 29.
  • 3D captured image data corresponding to the user's viewpoint may be generated and displayed.
  • a member coated with black paint can be taken in and out between the diaphragm 16 and the image sensor 100 (200, 300).
  • the device control unit 31 removes the member from the diaphragm 16 and the image sensor 100 (200, 300). 300) may be performed. In this case, it is preferable that the width of the member can be changed or the member can be rotated.
  • the disclosed stereoscopic imaging device is a stereoscopic imaging device having a single imaging optical system and a single imaging element that receives light passing through the imaging optical system, and the imaging optical system A lens system and a diaphragm, and the imaging element includes two or four types of pixels that receive light that has passed through different pupil regions of the photographing optical system, and the two or four types of pixels are in plan view.
  • a shielding part that is arranged two-dimensionally in a horizontal direction and a vertical direction perpendicular to the horizontal direction and shields a part of the aperture of the diaphragm and restricts light incident on the image sensor, as viewed in the optical axis direction
  • the aperture of the diaphragm is shielded by the shielding unit by controlling the shielding unit and shielding a part of the opening so as to equally divide the aperture of the diaphragm into at least one of the horizontal direction and the vertical direction.
  • a shielding area change control unit that changes depending on the conditions.
  • the F value of the aperture, the focal length of the photographing optical system, the photographing distance (subject distance), the photographing scene, and the photographing modes (2D mode and 3D mode) at the time of photographing are collectively defined as photographing conditions. To do.
  • two different types of adjacently arranged pixels among the two or four types of pixels are incident with the horizontal axis as the light incident angle and the vertical axis as the sensitivity.
  • the angular sensitivity characteristic is line symmetric with respect to the vertical axis, and the incident angle range having the sensitivity of one pixel overlaps the incident angle range having the sensitivity of the other pixel. is there.
  • the disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode that records a plurality of image data with parallax in one imaging, and the shielding region change control unit is configured to The shorter the focal length, the wider the width of at least one of the horizontal direction and the vertical direction of the shielding area.
  • the disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode in which a plurality of image data with parallax is recorded by one imaging, and the shielding area change control unit is configured so that the shooting distance is longer in the stereoscopic shooting mode.
  • a width of at least one of the horizontal direction and the vertical direction of the shielding area is widened.
  • the disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode for recording a plurality of image data having parallax in one imaging, and the shielding area change control unit is configured to have an F value of the aperture in the stereoscopic shooting mode.
  • the width of the shielding area is changed according to the above.
  • the shielding area change control unit narrows the width of the shielding area as the F value of the diaphragm increases.
  • the disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode that records a plurality of image data with parallax in one imaging, and the shielding area change control unit is in accordance with the shooting scene in the stereoscopic shooting mode. The width of the shielding area is changed.
  • the shielding region change control unit controls the shielding unit so that the width becomes zero when the brightness of the subject is equal to or less than a threshold value.
  • the disclosed stereoscopic image capturing apparatus has a planar shooting mode in which one image data is recorded by one imaging, and the shielding area change control unit is configured to reduce the width to zero in the planar shooting mode.
  • the shielding part is controlled.
  • the disclosed stereoscopic image capturing apparatus includes an image data generating unit that generates image data using a signal obtained by adding imaging signals of two or four different types of pixels arranged adjacent to each other in the plane photographing mode. Is provided.
  • the disclosed stereoscopic image capturing apparatus has a configuration in which the imaging element includes the four types of pixels, and a set of four types of pixels arranged adjacent to each other is two-dimensionally arranged.
  • the shielding region change control unit controls the shielding unit so that the opening is equally divided into two in the horizontal direction when the horizontal shooting is performed in parallel with the horizontal direction in the stereoscopic shooting mode. In the vertical shooting where the vertical direction and the ground are parallel, the shielding unit is controlled so that the opening is equally divided into two in the vertical direction.
  • the disclosed stereoscopic image capturing apparatus has a configuration in which the imaging element includes the four types of pixels, and a set of four types of pixels arranged adjacent to each other is two-dimensionally arranged.
  • the shielding area change control unit controls the shielding part so that the opening is equally divided into two in the horizontal direction and equally divided into two in the vertical direction in the stereoscopic shooting mode. .
  • the shielding unit is an element capable of arbitrarily forming a region that transmits light and a region that does not transmit light by applying voltage control, and the shielding region change control unit is provided in the element.
  • the size of the shielding region is changed by changing the size of the region that does not transmit the light by controlling the supplied voltage.
  • the disclosed stereoscopic image capturing apparatus has the same total number of pixels belonging to each of the two or four types of pixel groups.

Abstract

視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供する。立体画像撮像装置10は、単一の撮影光学系と撮影レンズ系を通った光を受光する単一の撮像素子100とを有する。撮影光学系は、撮影レンズ系12と絞り16を含み、撮像素子100は、撮影光学系の異なる瞳領域を通過した光を受光する、同一面に混在して配置された2種類の画素群を含み、2種類の画素群に属する画素は、同一面の水平方向Xとこれに直交する垂直方向Yに二次元状に配列され、立体画像を撮像する3Dモード時に絞り16の開口16aの一部を遮蔽して撮像素子100に入射する光を制限する液晶シャツタ15を備え、液晶シャツタ15は、撮像素子100側から見た絞り16の開口16aを、水平方向Xに均等に2分割するように開口16aの一部を遮蔽する。

Description

立体画像撮像装置
　本発明は、立体画像を撮像可能な立体画像撮像装置に関する。
　被写体の立体画像（三次元画像：以下、３Ｄ画像ともいう。）を撮像できる立体画像撮像装置が実際に普及し始め、テレビジョン装置やパーソナルコンピュータのモニタ装置も、立体画像を表示できるものが普及し始めている。
　従来の立体画像撮像装置は、例えば下記の特許文献１，２に記載されている様に、２つの撮像部を装備し、各撮像部の撮影レンズ系をカメラ筐体前部の左右に並べて設けている。そして、右側の撮影レンズ系を通して右眼用の被写体画像を撮影し、左側の撮影レンズ系を通して左眼用の被写体画像を撮影している。
　２つの撮像部を持つ複眼の立体画像撮像装置は、個々の撮像部が高価な撮影レンズ系や撮像素子を備えるため、単眼の二次元画像（平面画像：以下、２Ｄ画像ともいう。）を撮影するカメラに比べて撮像部のコストが倍になってしまう。
　特許文献３では、右側の撮影レンズ系と左側の撮影レンズ系の２系統を持つが、撮像素子を共通化して１個で済む立体画像撮像装置を提案している。
　この撮像素子の各画素（光電変換素子）は、その上方に設けられるマイクロレンズの一部が遮光されており、その遮光範囲が左右にずれていることで、右側の撮影レンズ系からの入射光のみを受光する右画素群と、左側の撮影レンズ系からの入射光のみを受光する左画素群とが構成されている。
　この撮像素子では、右画素群から得られる画像データと左画素群から得られる画像データとが視差のある画像データとなるため、立体画像の撮像が可能となる。しかし、この立体画像撮像装置でも、撮影レンズ系を２つ有するために、撮像部のコストが高くなってしまう。
　特許文献４では、撮影レンズ系も１系統とした立体画像撮像装置を提案している。
　この立体画像撮像装置は、撮影レンズ系と撮像素子との間に設けられた光シャッタで瞳の開口位置を移動させながら複数回の撮像を行って、視差のある複数の画像データを得ている。また、特許文献４には、撮影レンズ系と撮像素子との間にマイクロレンズアレイを設けることで、１回の撮像により視差のある複数の画像データを得る方法も開示されている。
　この立体画像撮像装置によれば、撮像部のコストを抑えることができる。
特開２０１０－１１４５７７号公報 特開２００８－１６７０６６号公報 特開２００３－００７９９４号公報 特開平１０－０４２３１４号公報
　しかし、特許文献4に記載の立体画像撮像装置では、複数の撮像データを１回の撮影で得るには、マイクロレンズアレイが必要であり、撮影レンズ系とマイクロレンズアレイを含めた光学系の設計が難しくなる。
本発明は、上記事情に鑑みてなされたものであり、視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供することを目的とする。
　本発明の立体画像撮像装置は、単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、前記撮影光学系は、撮影レンズ系と絞りを含み、前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する２種類又は４種類の画素を含み、前記２種類又は４種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に２分割するように前記開口の一部を遮蔽する遮蔽部と、前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備えるものである。
　本発明によれば、視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供することができる。
本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図 図１に示す立体画像撮像装置１０の機能ブロック図 図２に示す撮像素子１００の表面模式図 図３の各画素に積層されたカラーフィルタＲＧＢｒｇｂの配列だけを記載した図 各画素の上方にあるマイクロレンズ（円形）３８と遮光膜開口との位置関係を示す図 図５に示す遮光膜開口を有するＡ群の画素とＢ群の画素との間の視差を示す図 撮像素子１００のペア画素を構成する２つの画素の入射角感度特性を示す図 撮像素子１００のペア画素を構成する２つの画素の入射角感度特性を完全に分離する場合の特性を示す図 図２に示した立体画像撮像装置１０における撮影レンズ系１２、絞り１６、液晶シャッタ１５、及び撮像素子１００を斜めから見た斜視図 非透過領域１５ａを設けたことによる撮像素子１００のペア画素の入射角感度特性の変化を示す図 Ｆ値に応じて非透過領域１５ａの幅を変更することを説明する図 撮像素子１００により２Ｄ画像を撮影する場合の説明図 撮像素子１００のペア画素の画素加算後の入射角感度特性を示す図 図１に示した立体画像撮像装置１０の撮像動作を説明するためのフローチャート 図３に示した撮像素子の画素配列の変形例を示す図 図３に示した撮像素子の画素配列の別の変形例を示す図 マイクロレンズによる瞳分割の方法を例示する図 図２に代わる別実施形態の立体画像撮像装置２０の機能ブロック図 図１８に示す撮像素子２００の一例を示す表面模式図 図１９に示す画素４１のうち４×４＝１６画素を示す図 被写体としての木４９を示す図 木４９の画像を、図２０の画素Ａ～Ｄを通して見たときの視点位置Ａ～Ｄを示す図 図１８に示す立体画像撮像装置２０の縦撮り時と横撮り時における非透過領域１５ａの変化を示した図 図１８に示した立体画像撮像装置２０の撮像動作を説明するためのフローチャート 図１８に示した立体画像撮像装置２０における撮像素子２００の変形例である撮像素子３００の表面模式図 図２５に示す画素４１のうち４×４＝１６画素を示す図 木４９の画像を、図２６の画素Ａ～Ｄを通して見たときの視点位置Ａ～Ｄを示す図 デバイス制御部３１の制御の変形例を説明する図
　以下、本発明の一実施形態について、図面を参照して説明する。
　（第一実施形態）
　図１は、本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図である。この立体画像撮像装置１０は、カメラ筐体１１の前部に、単一の撮影レンズ系１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられている。カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない表示部（図２の表示部２５）が設けられている。
　図２は、図１に示す立体画像撮像装置１０の機能ブロック図である。撮影レンズ系１２の背部には、絞り（アイリス）１６が配置され、撮影レンズ系１２と絞り１６により撮影光学系を構成している。
　絞り１６の背部には、詳細は後述する液晶シャッタ１５を介して、これも詳細は後述する撮像素子１００が配置されている。撮影レンズ系１２、絞り１６、及び液晶シャッタ１５をこの順に通って撮像素子１００の受光面に入射した被写体光像に対応する撮像画像信号が、アナログデジタル（ＡＤ）変換部１７でデジタルデータに変換され、バス１８に出力される。
　バス１８には、この立体画像撮像装置１０の全体を統括制御する中央制御部（ＣＰＵ）２１と、シャッタレリーズボタン１４を含む操作ボタン等で構成される操作部２２と、ＤＳＰ等で構成されＣＰＵ２１の指示の基に撮像画像信号に対して周知の画像処理を施す画像処理部２３と、撮像画像信号を画像処理して得られた撮像画像データを表示用のデータに変換するビデオエンコーダ２４と、ビデオエンコーダ２４で変換された撮像画像データを表示部２５に表示するドライバ２６と、メモリ２７と、メディア制御部２８とが接続され、メディア制御部２８に着脱自在に記録媒体（メモリカード）２９が装着される。
　表示部２５は、例えばスキャンバックライト方式の液晶表示部であり、右眼用画像データと左目用画像データとを表示して被写体の立体画像を表示することができる表示部となっている。
　ＣＰＵ２１には、デバイス制御部３１が接続される。デバイス制御部３１は、ＣＰＵ２１からの指示に従い、撮像素子１００の駆動制御を行い、絞り１６の開口量調整制御を行い、液晶シャッタ１５の駆動制御を行い、撮影レンズ系１２のフォーカス位置制御やズーム位置制御を行う。
　図３は、図２に示す撮像素子１００の表面模式図である。本実施形態の撮像素子１００は、半導体基板の表面部に、複数のフォトダイオード（光電変換素子：画素）３３が、平面視において水平方向Ｘとこれに直交する垂直方向Ｙに二次元アレイ状に配列形成されている。
　図示する例では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして形成された所謂ハニカム画素配列となっており、各画素の受光面面積を正方画素配列の場合より広くすることができる。
　立体画像撮像装置１０では、図１に示すようにシャッタレリーズボタン１４が空側に向くように構えた状態で、水平方向Ｘと地面とが平行になる。
　画素３３で構成される各画素列に沿って垂直電荷転送路（ＶＣＣＤ）３４が形成され、各垂直電荷転送路３４の転送方向端部に沿ってラインメモリ（ＬＭ）３５が形成されている。
　ラインメモリ３５に並列に水平電荷転送路（ＨＣＣＤ）３６が形成され、水平電荷転送路３６の転送方向端部に、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像信号として出力するアンプ３７が設けられている。
　垂直電荷転送路３４は、半導体基板内に形成された埋め込みチャネルと、半導体基板表面に形成された絶縁膜を介し前記埋め込みチャネル上に積層された多数の転送電極膜とで構成される。
　ラインメモリ３５は、垂直電荷転送路３４毎の信号電荷一時蓄積用のバッファ３５ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路３４から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路３６に転送するときのタイミングを制御することで、水平方向Ｘの画素加算（信号電荷の混合）を行う機能を有する。
　図３に示す「Ｒ」「ｒ」「Ｇ」「ｇ」「Ｂ」「ｂ」はカラーフィルタの色（Ｒ，ｒ＝赤、Ｇ，ｇ＝緑、Ｂ，ｂ＝青）を示している。Ｒ，ｒの色の区別はなく、Ｇ，ｇとＢ，ｂも同様である。
　本実施形態の撮像素子１００では、奇数行の画素行にある全ての画素（以下、Ａ群ともいう）の上方にはＲＧＢのカラーフィルタがベイヤ配列され、偶数行の画素行にある全ての画素（以下、Ｂ群という）の上方にはｒｇｂのカラーフィルタがベイヤ配列されている。
　図４は、図３の各画素に積層されたカラーフィルタＲＧＢｒｇｂの配列だけを記載した図である。同一面に平均的に混在して設けられるＡ群の画素とＢ群の画素は、各画素が１対１に対応して設けられるため、Ａ群の画素数，Ｂ群の画素数は同一となる。
　図３の垂直転送電極Ｖ１～Ｖ８のうち読出電極兼用転送電極Ｖ２に読出パルスを印加して…Ｂ□Ｇ□Ｂ□Ｇ□…の信号電荷を垂直電荷転送路３４に読み出し、これを２段分転送してから読出電極兼用転送電極Ｖ４に読出パルスを印加すると、上記の□位置にｇ，ｂ，ｇ，…の信号電荷が読み出され、１行分として、…ｂＢｇＧｂＢｇＧ…の信号電荷が並ぶことになる。これをラインメモリ３５まで転送し、上述したように水平電荷転送路への転送タイミングを制御することで、ｂ＋Ｂ，ｇ＋Ｇ，ｂ＋Ｂ，ｇ＋Ｇの同色の２画素加算を行うことが可能となる。
　図３に示す各画素３３の上（カラーフィルタの上）には、夫々、マイクロレンズが積層され、また、各画素３３の受光面の上部（カラーフフィルタの下）には遮光膜開口が設けられるが、これらは、図３では図示を省略している。
　図５は、各画素の上方にあるマイクロレンズ（円形）３８と遮光膜開口との位置関係を示す図である。Ａ群の画素においては、マイクロレンズ３８に対して、遮光膜開口３３ａを、マイクロレンズ中心に対して左側（被写体側から撮像素子１００を視た場合）に偏心して設けている。また、Ｂ群の画素においては、マイクロレンズ３８に対して、遮光膜開口３３ｂを、マイクロレンズ中心に対して右側に偏心して設けている。
　Ａ群とＢ群とは、図３から分かる通り、画素ピッチの１／２だけ垂直方向Ｙ及び水平方向Ｘに互いにずれているため、同色画素（Ｒとｒ、Ｇとｇ、Ｂとｂ）が斜めに隣接する配置となっている。
　斜めに最隣接する同色２画素をペア画素とした場合、図６に示す様に、ペア画素の一方の遮光膜開口３３ａは左側に偏心し、他方の遮光膜開口３３ｂは右側に偏心していることになる。
　このように、ペア画素を構成する一方の画素と他方の画素とは、マイクロレンズ３８の中心に対して遮光膜開口が互いに逆方向にずれているため、撮影光学系を通して入射してくる同一被写体からの光の入射角が互いに逆方向となる様に制限されることになる。
　この結果、撮像素子１００を用いて被写体を撮影した場合、遮光膜開口３３ａを通して受光されたＡ群の撮像画像信号は右眼で被写体を視たものとなり、遮光膜開口３３ｂを通して受光されたＢ群の撮像画像信号は左眼で被写体を視たものとなり、図６下段に示す様に、視差が生じることになる。
　被写体のうちＡ群の画素とＢ群の画素で合焦する部分は、同じ位置で合焦状態となりＡ群の画素，Ｂ群の画素の夫々に結像する。被写体のうち合焦状態とならない部分はＡ群の画素（右眼画像）とＢ群の画素（左眼画像）で左右にずれた位置にボケ像が作られる。
　このボケ像が、合焦距離に対する被写体距離の差に応じて左右のずれ量（視差）として変わってくるため、Ａ群の撮像画像信号とＢ群の撮像画像信号を左右の撮像画像信号とすることで、単一の撮影光学系と単一の撮像素子で、立体画像の撮像が可能となる。
　立体画像を再生する場合、図２の画像処理部２３は、Ａ群の撮像画像信号から１枚の右眼用撮像画像データを生成しメモリカード２９に保存すると共に表示部２５に右眼用撮像画像データを表示させ、Ｂ群の撮像画像信号から１枚の左眼用撮像画像データを生成しメモリカード２９に保存すると共に表示部２５に左眼用撮像画像データを表示させ、被写体の立体画像を表示部２５に表示させる。
　次に、ペア画素を構成する一方の画素と他方の画素の入射角感度特性（画素に入射してくる光の入射角毎の感度の特性）について詳しく説明する。
　図７は、撮像素子１００のペア画素を構成する２つの画素の入射角感度特性を示す図である。図７において、符号ＴＬで示したものが遮光膜開口３３ａを上方に持つＡ群の画素の入射角感度特性であり、符号ＴＲで示したものが遮光膜開口３３ｂを上方に持つＢ群の画素の入射角感度特性である。符号Ｔ１で示したものは、例えば図５に示すＡ群の画素において、マイクロレンズ３８の中心と遮光膜開口３３ａの中心とを一致させた仮想的な画素の入射角感度特性である。
　図７において横軸は入射角を示し、縦軸は感度を示している。入射角は、画素上方のマイクロレンズ３８の中心に垂直に光が入射するときを０°とし、当該中心に入射する光線が水平方向（ペア画素の瞳分割方向）に斜めに傾くほど、その角度が大きくなるものとしている。具体的には、マイクロレンズ３８の中心に入射する光線が水平方向右側に傾いていくと図７の横軸の右側の数値が増え、当該光線が水平方向左側に傾いていくと図７の横軸の左側の数値が増える。
　図７に示したように、撮像素子１００のペア画素を構成する２つの画素の入射角感度特性は、略同一形状であり、かつ、それぞれの感度のピーク位置が縦軸から均等な距離だけ離れた位置にある。つまり、ペア画素を構成する２つの画素の入射角感度特性は、縦軸（入射角０°のときの感度の軸）に対して線対称の関係にある。そして、ペア画素を構成する２つの画素の入射角感度特性は、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なり（図７中の符号Ｔ２で示した範囲）を持っている。
　図７に示す波形ＴＲと横軸で囲まれた範囲が、撮影光学系の第一の瞳領域を通過する光の量に相当し、波形ＴＬと横軸で囲まれた範囲が、撮影光学系の第二の瞳領域を通過する光の量に相当し、波形Ｔ１と横軸で囲まれた範囲が、撮影光学系の第一の瞳領域と第二の瞳領域を含む第三の瞳領域を通過する光の量に相当する。つまり、ペア画素を構成する２つの画素は、撮影光学系のそれぞれ異なる瞳領域を通過した光を受光するように瞳分割されている。そして、ペア画素を構成する２つの画素の各々が受光する光の通過する瞳領域は、光軸付近において互いに重なりを有するように瞳分割がなされている。
　Ａ群の撮像画像信号とＢ群の撮像画像信号とで良好な視差を得られるようにするには、図７に示した重なり範囲Ｔ２をゼロにして、ペア画素の一方の画素と他方の画素で入射角感度特性を完全に分離することが好ましい。
　しかし、重なり範囲Ｔ２がゼロになるようにするには、遮光膜開口３３ａと遮光膜開口３３ｂの間の水平方向Ｘの距離を大きくする必要があり、これを実現するには遮光膜開口３３ａ，３３ｂを小さくする必要がある。この結果、重なり範囲Ｔ２をゼロにした場合のペア画素の入射角感度特性ＴＲ，ＴＬは図８に示したようになり、図７の場合よりもペア画素の感度が低下してしまう。
　つまり、本実施形態の撮像素子１００は、感度を上げようとすると、良好な視差が得られにくくなり、逆に、良好な視差を得ようとすると、感度が低下するという課題を抱えている。
　そこで、本実施形態の立体画像撮像装置１０は、撮像素子１００が、視差よりも感度を優先した図７に示した入射角感度特性を有し、撮像素子１００と絞り１６との間に設けた液晶シャッタ１５が、図７に示した入射角感度特性であっても良好な視差を得られるように、撮像素子１００に入射する光を制限している。
　図９は、図２に示した立体画像撮像装置１０における撮影レンズ系１２、絞り１６、液晶シャッタ１５、及び撮像素子１００を斜めから見た斜視図である。
　撮影レンズ系１２の背部に配置された絞り１６は、開口１６ａの大きさを変えることにより、その後方の撮像素子１００に入射させる光の量を調整する。
　液晶シャッタ１５は、液晶分子への電圧の印加あるいは除去により液晶分子の配列変化を起こさせることにより、光の透過や遮断を行う。液晶シャッタ１５の液晶層は、光軸方向から見たときに、絞り１６の最大開口時の開口１６ａを覆う大きさとなっていればよい。
　液晶シャッタ１５は、絞り１６を通過した光を透過する透過領域と、絞り１６を通過した光を透過させない非透過領域とを液晶層の任意の位置に形成することができる。
　液晶シャッタ１５と絞りは近接して（理想的には接触して）配置されているため、図９に示すように、液晶シャッタ１５に形成される非透過領域１５ａによって、開口１６ａの一部（非透過領域１５ａとほぼ同じ面積の領域）が完全に遮蔽された状態になる。
　本実施形態の立体画像撮像装置１０では、１回の撮像で立体画像を再生可能な形式の撮像画像データ（視差のある複数の撮像画像データ）を記録する３Ｄモード（立体撮影モード）時には、デバイス制御部３１が、光軸方向に見たときの開口１６ａを水平方向Ｘに均等に２分割するように、開口１６ａの一部を遮蔽するための非透過領域１５ａを液晶シャッタ１５に形成する。
　非透過領域１５ａを形成することにより、ペア画素の入射角感度特性ＴＲ，ＴＬは図１０に示したようになる。
　図１０において、符号Ｔ３で示した範囲は、非透過領域１５ａによって感度が得られなくなった入射角範囲である。この入射角範囲の横軸方向の幅を、図７に示す重なり範囲Ｔ２の横軸方向の幅と同じにすれば、重なり範囲Ｔ２を除去して、ペア画素の入射角感度特性を完全に分離することができる。このため、このような範囲Ｔ３が得られるように、非透過領域１５ａの水平方向Ｘの幅が設定される。
　このように、非透過領域１５ａを形成することで、各画素の感度を図８に示した例よりも高くしながら、Ａ群とＢ群とで入射角感度特性を完全に分離することができる。しかも、その分離度合は、図８に示した場合よりも大きい。したがって、良好な視差と高感度を両立させた立体撮像が可能になる。
　なお、図７に示した重なり範囲Ｔ２は、絞り値（Ｆ値）が任意の値であったときのものであり、Ｆ値が変化すれば、重なり範囲Ｔ２の幅も変化する。そこで、デバイス制御部３１は、絞り１６のＦ値に応じて、液晶シャッタ１５に形成する非透過領域１５ａの水平方向Ｘの幅を変更することが好ましい。
　例えば、図１１に示すように、Ｆ値が小さいときは非透過領域１５ａの水平方向Ｘの幅を広くし、Ｆ値が大きいときは非透過領域１５ａの水平方向Ｘの幅を狭くする。つまり、デバイス制御部３１は、Ｆ値が大きいほど、非透過領域１５ａの水平方向Ｘの幅を狭くする。
　このようにすることで、Ｆ値によらずに、常に良好な視差を得ることができる。
　図１２は、撮像素子１００により２Ｄ画像を撮像する場合の説明図である。１回の撮像で１つの撮像画像データを記録する２Ｄモード（平面撮影モード）時、デバイス制御部３１は液晶シャッタ１５に非透過領域１５ａを形成せずに撮像を行い、Ａ群とＢ群のペアとなる同色２画素の撮像信号を画素加算して撮像素子１００から出力させる。
　図１２に長円で示すペア画素の信号電荷を、上述した図３のラインメモリ３５を用いて画素加算（信号電荷同士を加算）してから撮像信号に変換して出力することで、ペア画素の撮像信号同士を加算したのに相当する撮像信号を、ペアの総数と同じ数だけ得ることができ、これら撮像信号の集合である撮像画像信号を処理して２Ｄの撮像画像データを得ることが可能となる。
　若しくは、Ａ群の全画素の撮像画像信号を読み出し、Ｂ群の全画素の撮像画像信号を読み出し、画像処理部２３で、ペア画素から得られた撮像信号の画素加算（撮像信号同士を加算）を行い、画素加算後の撮像画像信号を処理して２Ｄの撮像画像データを得ることもできる。
　Ａ群の撮像画像信号とＢ群の撮像画像信号は、左右のボケ画像の位置がＡ群とＢ群でずれるため、これを２Ｄ画像として表示すると偽解像が生じる。しかし、実施形態の様に画素加算（撮像素子１００内で信号電荷の状態で加算する場合と画像処理部２３内で撮像信号の状態で加算する場合を含む）を行うと、ボケ部分が加算によって合成され、Ａ群、Ｂ群画素の区別のない１枚の２Ｄ画像となり、高品質な２Ｄ画像を取得することが可能となる。
　また、２Ｄモード時には、液晶シャッタ１５の全面が透過領域となるため、ペア画素の画素加算後の入射角感度特性は図１３の符号Ｔ４に示したようになり、デフォーカス像が分離せず、高品質な２Ｄ画像を取得することが可能となる。
　また、実施形態の撮像素子１００では、図３，図４のカラーフィルタ配列をとっているため、Ａ群の撮像画像信号とＢ群の撮像画像信号を画素加算した後の２Ｄの撮像画像信号の色配列はベイヤ配列となり、既存のベイヤ配列用の画像処理技術を利用可能となり、画像処理が容易となる。
　図１４は、図１に示した立体画像撮像装置１０の撮像動作を説明するためのフローチャートである。なお、動作開始前では、液晶シャッタ１５は全面が透過状態になっているものとして説明する。
　動作を開始すると、ＣＰＵ２１が、撮影モードが３Ｄモードか２Ｄモードかを判定する（ステップＳ１）。
　撮影モードが３Ｄモードであった場合はステップＳ２に進む。撮影モードが２Ｄモードであった場合はステップＳ７に進む。
　ステップＳ２では、ＣＰＵ２１が、撮像素子１００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。なお、仮撮像で撮像素子１００から読み出す撮像画像信号は、Ａ群とＢ群の２種類の画素群のうちのいずれか一方とすることで、ＡＥ・ＡＦ処理に要する時間を短縮することができる。
　ステップＳ２の後、ＣＰＵ２１は、デバイス制御部３１を介して、液晶シャッタ１５に非透過領域１５ａを形成する（ステップＳ３）。この非透過領域１５ａの水平方向Ｘの幅は、ステップＳ２で決定したＦ値に応じた幅に設定する。
　ステップＳ３の後、ユーザから撮像指示があると、ＣＰＵ２１は、ステップＳ２で決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子１００により本撮像を行（ステップＳ４）。
　本撮像を終了すると、ＣＰＵ２１は、Ａ群から撮像画像信号を読み出し、Ｂ群から撮像画像信号を読み出す（ステップＳ５）。
　読み出された撮像画像信号は、画像処理部２３で処理されて、Ａ群の撮像画像信号から右眼用撮像画像データが生成され、Ｂ群の撮像画像信号から左眼用撮像画像データが生成されて、これらがメモリカード２９に記録されると共に、こられが表示部２５に立体表示される（ステップＳ６）。
　ステップＳ７では、ＣＰＵ２１が、撮像素子１００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。
　ステップＳ７の後、ＣＰＵ２１は、液晶シャッタ１５の全面を透過状態にしたまま、決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子１００により本撮像を行う（ステップＳ８）。
　本撮像を終了すると、ＣＰＵ２１は、Ａ群とＢ群のペア画素となる同色２画素の撮像信号を画素加算して撮像素子１００から出力させる（ステップＳ９）。
　撮像素子１００から出力された画素加算後の撮像画像信号は、画像処理部２３で処理されて、２Ｄの撮像画像データが生成され、この２Ｄの撮像画像データがメモリカード２９に記録されると共に、表示部２５に２Ｄ表示される（ステップＳ１０）。
　以上のような動作により、高画質の２Ｄの撮像画像データと、高画質の３Ｄの撮像画像データを得ることができる。この立体画像撮像装置１０によれば、単一の光学系と単一の撮像素子で立体撮像を行うことができるため、製造コストを抑えられると共に、１回の撮影で視差のある２つの撮像画像データを同時に得ることができる。また、この立体画像撮像装置１０によれば、特許文献４に記載のようなマイクロレンズアレイを用いる必要がなく、光学系の設計が容易となる。更に、副次的な効果ではあるが、特開２００９－５２７００７号公報や特開２００９－１６８９９５号公報に記載されているような光学系や撮像素子の個数が多い立体撮像装置に比して、本発明の立体撮像装置は、単一の光学系と単一の撮像素子を有する単純な装置構成であることから、装置の小型化を達成している。
　なお、３Ｄモード時に液晶シャッタ１５に形成する非透過領域１５ａの水平方向Ｘの幅は、Ｆ値以外の情報に応じて決定してもよい。例えば、撮影距離（被写体距離）に応じて非透過領域１５ａの幅を決定してもよい。または、撮影レンズ系１２が焦点距離を可変なものである場合には、その焦点距離に応じて、非透過領域１５ａの幅を決定してもよい。
　無限遠の遠景の風景画像を撮影する場合は、ペア画素で感度特性が分離しにくくなり、近景の画像を撮影する場合は、ペア画素で感度特性が分離しやすくなる。このため、撮影距離が近いときは感度を優先して、非透過領域１５ａの幅を狭くすることが有効となる。一方、撮影距離が遠い場合は、視差を優先して、非透過領域１５ａの幅を広くすることが有効となる。以上のことから、デバイス制御部３１は、撮影距離が遠いほど非透過領域１５ａの幅を広くすることが好ましい。
　また、焦点距離が短い場合は、ペア画素で感度特性が分離しにくくなり、焦点距離が長い場合は、ペア画素で感度特性が分離しやすくなる。このため、焦点距離が長いときは、感度を優先して非透過領域１５ａの幅を狭くすることが有効となる。一方、焦点距離が短いときは、視差を優先して非透過領域１５ａの幅を広くすることが有効となる。以上のことから、デバイス制御部３１は、焦点距離が短いほど非透過領域１５ａの幅を広くすることが好ましい。
　また、撮影シーンに応じて非透過領域１５ａの水平方向Ｘの幅を決定してもよい。
　夜景等の暗いシーン（被写体の明るさが閾値以下のシーン）では、高感度が求められるため、感度優先（非透過領域１５ａの幅を狭くする）とし、それ以外のシーンでは視差優先（非透過領域１５ａの幅を広くする）とすることで、撮影シーンに応じて最適な画質を得ることが可能となる。
　なお、暗いシーンのときには、非透過領域１５ａの幅をゼロにして高感度化を目指してもよい。
　非透過領域１５ａの水平方向Ｘの幅は、Ｆ値、撮影距離、焦点距離、及び撮影シーンのいずれか単独に応じて決めてもよいし、撮影距離又は焦点距離とＦ値及び撮影シーンのいずれかとを考慮して決めてもよい。
　例えば、撮影距離又は焦点距離に応じて重なり範囲Ｔ２が無くなるように非透過領域１５ａの幅を設定した後、Ｆ値に応じて非透過領域１５ａの幅を調整してもよい。または、撮影距離又は焦点距離に応じて重なり範囲Ｔ２が無くなるように非透過領域１５ａの幅を設定した後、撮影シーンに応じて非透過領域１５ａの幅を調整してもよい。または、撮影距離又は焦点距離とＦ値との組み合わせ毎に非透過領域１５ａの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。同様に、撮影距離又は焦点距離と撮影シーンとの組み合わせ毎に非透過領域１５ａの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。
　また、上述した実施形態では、電荷結合素子（ＣＣＤ）を信号読出回路とした撮像素子１００を説明したが、信号読出回路がＣＭＯＳ型等のトランジスタ回路を用いた撮像素子も適用可能である。
　また、図３，図４で説明した実施形態では、奇数行の画素が偶数行の画素に対して１／２画素ピッチずつずらした画素配列（所謂、ハニカム画素配列）となっているが、画素配列が正方配列であっても良い。
　図１５は、図３に示した撮像素子の画素配列の変形例を示す図である。図１５において、カラーフィルタに対応する文字（Ｒ、Ｇ、Ｂ）を付したブロックがＡ群の画素であり、カラーフィルタに対応する文字（ｒ、ｇ、ｂ）を付したブロックがＢ群の画素である。図１５に示した例では、Ａ群を画素ピッチの１／２水平方向にずらした位置にＢ群が存在し、水平方向に隣接する同色２画素をペア画素としている。
　図１６は、図３に示した撮像素子の画素配列の別の変形例を示す図である。図１６において、カラーフィルタに対応する文字（Ｒ、Ｇ、Ｂ）を付したブロックがＡ群の画素であり、カラーフィルタに対応する文字（ｒ、ｇ、ｂ）を付したブロックがＢ群の画素である。図１６に示した例では、Ａ群を画素ピッチの１／２垂直方向にずらした位置にＢ群が存在し、垂直方向に隣接する同色２画素をペア画素としている。
　図１５，１６に示した画素配列であっても、高画質の２Ｄ及び３Ｄの撮像画像データを得ることができる。
　また、上述した実施形態では、図５に示したように、ペア画素の遮光膜開口を互いに左右の反対方向に偏心させることで、ペア画素を瞳分割して視差のある２つの撮像画像信号を得られるようにしている。しかし、瞳分割は、遮光膜開口を偏心させなくても実現できる。
　例えば、図１７（ａ）に平面図を示し、図１７（ｂ）に断面図を示すように、ペア画素５１ａ，５１ｂの遮光膜５２の開口５２ａを各画素５１ａ，５１ｂの受光面全面で開口させる。更に、ペア画素５１ａ，５１ｂに対して、長円（楕円）形の１つのマイクロレンズ５３を搭載し、同一被写体からの入射角の異なる入射光（撮影光学系の異なる瞳領域を通過した光）がペア画素５１ａ，５１ｂの夫々に入射されるようにすればよい。
　（第二実施形態）
　図１８は、図２に代わる別実施形態の立体画像撮像装置２０の機能ブロック図である。図２に示す立体画像撮像装置１０と基本構成は同じであり、撮像素子１００を撮像素子２００に変更し、姿勢センサ３０を追加した点が異なるだけのため、同一部材には同一符号を付してその説明は省略する。
　姿勢センサ３０は、立体画像撮像装置２０の姿勢を検知するものであり、例えばジャイロセンサで構成される。
　図１９は、図１８に示す撮像素子２００の一例を示す表面模式図である。なお、この例ではＣＣＤ型のイメージセンサを例示するが、ＣＭＯＳ型イメージセンサでも良い。
　図１９に示す撮像素子２００は、半導体基板の受光面に水平方向Ｘとこれに直交する垂直方向Ｙに二次元アレイ状、図示の例では正方格子状に複数の画素４１が配列形成され、各画素列に沿って垂直電荷転送路（ＶＣＣＤ）４２が形成される。
　各垂直電荷転送路４２の転送方向端部に沿ってラインメモリ４３が形成され、ラインメモリ４３に並列に水平電荷転送路（ＨＣＣＤ）４４が形成され、水平電荷転送路４４の出力端部に、転送されてきた信号電荷量に応じた電圧値信号を撮像信号として出力するアンプ４５が設けられている。
　立体画像撮像装置２０は、横撮り状態（図１に示した状態）で撮像素子２００の水平方向Ｘが地面と平行になり、縦撮り状態（図１に示す状態から立体画像撮像装置を９０度回転させた状態）で、撮像素子２００の垂直方向Ｙが地面と平行になる。
　ラインメモリ４３は、垂直電荷転送路４２毎の信号電荷一時蓄積用のバッファ４３ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路４２から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路４４に転送するときのタイミングを制御することで、水平方向の画素加算（信号電荷の混合）を行う機能を有する。
　図中の各画素４１上に記載した「Ｒ」「Ｇ」「Ｂ」はカラーフィルタの色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）を表している。本実施形態の撮像素子２００では、縦横に隣接する４画素を１組として、組内の４画素に同一色のカラーフィルタを積層している。そして、各組毎の色配列が全体としてベイヤ配列となるようにカラーフィルタを配列している。
　そして、図１９に示す４画素１組の夫々の上部に、破線円で示すマイクロレンズ４７を設けている。この結果、１組の４画素は、それぞれ、撮影光学系の異なる瞳領域を通過する光を受光する。各組内の４画素のうち、隣接する２つの画素（水平方向に隣接する２画素、垂直方向に隣接する２画素）は、それぞれの入射角感度特性が図７に示したように、瞳分割方向において線対称でかつ重なり範囲Ｔ２を有している。
　図２０は、図１９に示す画素４１のうち４×４＝１６画素を示す図であり、４つの組と夫々の瞳分割用のマイクロレンズ４７を示している。各組の４画素の中央に記載したＲ，Ｇ，Ｂがカラーフィルタの色を表し、各組の４画素のうち左斜め上を画素Ａ，右斜め上を画素Ｂ，左斜め下を画素Ｃ，右斜め下を画素Ｄとする。画素Ａの総数、画素Ｂの総数、画素Ｃの総数、画素Ｄの総数は、それぞれ同じである。
　図２１は、被写体としての木４９を示している。図２１の紙面の手前側に撮影者の目が存在し、各組の４画素を通して被写体の木４９を見た場合、図２２に示す様に、全ての組の画素Ａは木４９を左斜め上（視点Ａ）から見た撮像画像信号を取得し、全ての組の画素Ｂは木４９を右斜め上（視点Ｂ）から見た撮像画像信号を取得し、全ての組の画素Ｃは木４９を左斜め下（視点Ｃ）から見た撮像画像信号を取得し、全ての組の画素Ｄは木４９を右斜め下（視点Ｄ）から見た撮像画像信号を取得することになる。
　第二実施形態の立体画像撮像装置２０は、縦撮りと横撮りのどちらでも、立体画像を良好に撮像することができる。
　例えば、横撮りの場合は、撮像素子２００の各組において、画素Ａの撮像信号と画素Ｃの撮像信号を画素加算し、画素Ｂの撮像信号と画素Ｄの撮像信号を画素加算して、全ての組から撮像画像信号（Ａ＋Ｃ）と撮像画像信号（Ｂ＋Ｄ）を読み出す。
　この画素加算は、撮像素子２００内で行ってもよいし、画像処理部２３内で行ってもよい。画像処理部２３は、読み出した撮像画像信号（Ａ＋Ｃ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｂ＋Ｄ）を処理して右眼用撮像画像データを生成する。
　一方、立体画像撮像装置２０を右に９０度回転させて行う縦撮りの場合は、撮像素子２００の各組において、画素Ｃの撮像信号と画素Ｄの撮像信号を画素加算し、画素Ａの撮像信号と画素Ｂの撮像信号を画素加算して、全ての組から撮像画像信号（Ｃ＋Ｄ）と撮像画像信号（Ａ＋Ｂ）を読み出す。
　画像処理部２３は、読み出した撮像画像信号（Ｃ＋Ｄ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ａ＋Ｂ）を処理して右眼用撮像画像データを生成する。
　また、立体画像撮像装置２０を左に９０度回転させて行う縦撮りの場合は、撮像素子２００の各組において、画素Ａの撮像信号と画素Ｂの撮像信号を画素加算し、画素Ｃの撮像信号と画素Ｄの撮像信号を画素加算して、全ての組から撮像画像信号（Ａ＋Ｂ）と撮像画像信号（Ｃ＋Ｄ）を読み出す。
　画像処理部２３は、読み出した撮像画像信号（Ａ＋Ｂ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｃ＋Ｄ）を処理して右眼用撮像画像データを生成する。
　このように、横撮りのときは、２つの撮像画像データの視差のつく方向が水平方向Ｘになり、縦撮りのときは、２つの撮像画像データの視差のつく方向が垂直方向Ｙになる。このため、第一実施形態では固定となっていた、液晶シャッタ１５に形成する非透過領域１５ａの伸びる方向を、第二実施形態の立体画像撮像装置２０においては、縦撮りと横撮りとで切り替える必要がある。
　横撮りの場合は、図２２に示した画素Ａと画素Ｂで感度特性を分離し、画素Ｃと画素Ｄで感度特性を分離する必要がある。
　そこで、立体画像撮像装置２０のデバイス制御部３１は、横撮りの場合は、図２３のＦＩＧ２３Ａに示したように、開口１６ａを水平方向Ｘに均等に２分割するように、垂直方向Ｙに伸びる非透過領域１５ａを液晶シャッタ１５に形成する。
　一方、縦撮りの場合は、図２２に示した画素Ａと画素Ｃで感度特性を分離し、画素Ｂと画素Ｄで感度特性を分離する必要がある。
　そこで、立体画像撮像装置２０のデバイス制御部３１は、縦撮りの場合は、図２３のＦＩＧ２３Ｂに示したように、開口１６ａを垂直方向Ｙに均等に２分割するように、水平方向Ｘに伸びる非透過領域１５ａを液晶シャッタ１５に形成する。
　縦撮りか横撮りかの判断は、姿勢センサ３０からの状態に基づいてＣＰＵ２１が行う。
　図２４は、図１８に示した立体画像撮像装置２０の撮像動作を説明するためのフローチャートである。
　動作を開始すると、ＣＰＵ２１が、撮影モードが３Ｄモードか２Ｄモードかを判定する（ステップＳ２１）。
　撮影モードが３Ｄモードであった場合はステップＳ２２に進み、撮影モードが２Ｄモードであった場合はステップＳ２９に進む。
　ステップＳ２２では、ＣＰＵ２１が、撮像素子２００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。
　なお、仮撮像で撮像素子２００から読み出す撮像画像信号は、画素Ａからなる画素群、画素Ｂからなる画素群、画素Ｃからなる画素群、及び画素Ｄからなる画素群の４種類の画素群のうちのいずれか１つとすることで、ＡＥ・ＡＦ処理に要する時間を短縮することができる。
　ステップＳ２２の後、ＣＰＵ２１は、姿勢センサ３０からの情報に基づいて、立体画像撮像装置２０の姿勢を判定する（ステップＳ２３）。
　立体画像撮像装置２０の姿勢が縦撮りを行う姿勢であった場合はステップＳ２４に進み、立体画像撮像装置２０の姿勢が横撮りを行う姿勢であった場合はステップＳ２５に進む。
　ステップＳ２４では、ＣＰＵ２１が、デバイス制御部３１を介して、液晶シャッタ１５に、図２３のＦＩＧ２３Ｂに示したような水平方向Ｘに伸びる非透過領域１５ａを形成する。
　この非透過領域１５ａの垂直方向Ｙの幅は、第一実施形態で説明したように、Ｆ値、撮影距離、焦点距離、撮影シーンに応じて決めることができる。
　ステップＳ２５では、ＣＰＵ２１が、デバイス制御部３１を介して、液晶シャッタ１５に、図２３のＦＩＧ２３Ａに示したような垂直方向Ｙに伸びる非透過領域１５ａを形成する。
　この非透過領域１５ａの水平方向Ｘの幅は、第一実施形態で説明したように、Ｆ値、撮影距離、焦点距離、撮影シーンに応じて決めることができる。
　ステップＳ２４，Ｓ２５の後、ユーザから撮像指示があると、ＣＰＵ２１は、ステップＳ２２で決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子２００により本撮像を行う（ステップＳ２６）。
　本撮像を終了すると、ＣＰＵ２１は、撮像素子２００から撮像画像信号を読み出す（ステップＳ２７）。
　読み出された撮像画像信号は、画像処理部２３で処理されて、右眼用撮像画像データと左眼用撮像画像データが生成されて、これらがメモリカード２９に記録されると共に、こられが表示部２５に立体表示される（ステップＳ２８）。
　撮影モードが２Ｄモードであった場合に進むステップＳ２９では、ＣＰＵ２１が、撮像素子２００により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてＡＥ・ＡＦ処理を行い、Ｆ値、シャッタ速度、撮影レンズ系１２のフォーカス位置を決定する。
　ステップＳ２９の後、ＣＰＵ２１は、液晶シャッタ１５の全面を透過状態にしたまま、決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子２００により本撮像を行う（ステップＳ３０）。
　本撮像を終了すると、ＣＰＵ２１は、組内の全ての画素の撮像信号を撮像素子２００内部で画素加算し、全ての組から撮像画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ）を出力させる（ステップＳ３１）。
　撮像素子２００から出力された撮像画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ）は、画像処理部２３で処理されて、２Ｄの撮像画像データが生成され、この２Ｄの撮像画像データがメモリカード２９に記録されると共に、表示部２５に２Ｄ表示される（ステップＳ３２）。
　以上のような動作により、高画質の２Ｄの撮像画像データと、高画質の３Ｄの撮像画像データを得ることができる。また、３Ｄモード時には、縦撮り、横撮りのどちらであっても、高画質の３Ｄの撮像画像データを得ることができる。
　図２５は、図１８に示した立体画像撮像装置２０における撮像素子２００の変形例である撮像素子３００の表面模式図である。この例ではＣＣＤ型イメージセンサであるが、ＣＭＯＳ型イメージセンサでも良い。
　図２５に示した撮像素子３００では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列されており、各画素列に沿って形成される垂直電荷転送路（ＶＣＣＤ）４２が、各画素４１を避けるように蛇行して設けられている点が図１９と異なるだけであるため、図１９と同一部材には同一符号を付してその説明は省略する。
　撮像素子３００でも４画素１組として同一色のカラーフィルタが積層されている。
　１組を構成する最隣接４画素の画素配列は、図２６に示す様に４画素で構成される正方形を菱形状に配置して配列した構成となっており、１組毎に１つのマイクロレンズ４７と同色カラーフィルタが積層される。
　菱形状配列の左角に設けられる画素Ａと、上角に設けられる画素Ｂと、下角に設けられる画素Ｃと、右角に設けられる画素Ｄとが１つのマイクロレンズ下に設けられることで、瞳分割が行われる。
　画素Ａと画素Ｄ、画素Ｃと画素Ｂは、それぞれ、横軸を瞳分割方向として、図７に示したような入射角感度特性を有している。
　図２７は、木４９の画像を、図２６の画素Ａ～Ｄを通して見たときの視点位置Ａ～Ｄを示す図である。視点Ａ（画素Ａ）は被写体４９を若干左側から見ることになり、視点Ｂ（画素Ｂ）は被写体４９を若干上側から見ることになり、視点Ｃ（画素Ｃ）は被写体４９を若干下側から見ることになり、視点Ｄ（画素Ｄ）は被写体４９を若干右側から見ることになる。
　このような撮像素子３００を搭載する立体画像撮像装置２０は、次のようにして右眼用撮像画像データと左眼用撮像画像データを生成する。
　例えば、横撮りの場合は、全ての画素Ａから撮像画像信号（Ａ）を読出し、全ての画素Ｄから撮像画像信号（Ｄ）を読み出す。
　画像処理部２３は、読み出した撮像画像信号（Ａ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｄ）を処理して右眼用撮像画像データを生成する。
　一方、立体画像撮像装置２０を左に９０度回転させて行う縦撮りの場合は、全ての画素Ｂから撮像画像信号（Ｂ）を読出し、全ての画素Ｃから撮像画像信号（Ｃ）を読み出す。
　画像処理部２３は、読み出した撮像画像信号（Ｂ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｃ）を処理して右眼用撮像画像データを生成する。
　また、立体画像撮像装置２０を右に９０度回転させて行う縦撮りの場合は、全ての画素Ｃから撮像画像信号（Ｃ）を読出し、全ての画素Ｂから撮像画像信号（Ｂ）を読み出す。
　画像処理部２３は、読み出した撮像画像信号（Ｃ）を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号（Ｂ）を処理して右眼用撮像画像データを生成する。
　撮像素子３００の場合でも、デバイス制御部３１は、横撮りの場合は図２３のＦＩＧ２３Ａに示したように非透過領域１５ａを形成し、縦撮りの場合は図２３のＦＩＧ２３Ｂに示したように非透過領域１５ａを形成する。
　図１９の撮像素子２００と図２５の撮像素子３００が画素数同一でチップサイズも同一とすると、図２６の撮像素子３００の水平方向（画素Ａ―画素Ｄ間）の視差が、図２０の撮像素子２００の水平方向（画素Ａ―画素Ｂ間、画素Ｃ―画素Ｄ間）の視差より広くとれ、立体画像のデータとして有利となる。
　図１９に示した撮像素子２００を用いた場合は、次のようにして３つの３Ｄ画像データを１回の撮像で得ることも可能である。
　例えば、図２０に示した画素Ａの撮像画像信号と画素Ｃの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ（Ａ＋Ｃ）と、画素Ｂの撮像画像信号と画素Ｄの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ（Ｂ＋Ｄ）とから１つの３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）を生成し、画素Ａの撮像画像信号と画素Ｂの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ（Ａ＋Ｂ）と、画素Ｃの撮像画像信号と画素Ｄの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ（Ｃ＋Ｄ）とから１つの３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）を生成し、画素Ｃの撮像画像信号と画素Ｄの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ（Ｃ＋Ｄ）と、画素Ａの撮像画像信号と画素Ｂの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ（Ａ＋Ｂ）とから１つの３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）を生成することができる。
　本撮像時には、３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）と３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）と３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）を生成して記録しておい、再生時には、ユーザの視点に応じて、これらのいずれかを再生することで、ユーザの視点の変化に対応した３Ｄ画像の再生が可能になる。
　例えば、ユーザの視点（右眼と左眼を結ぶ線の方向）が水平方向であった場合は、水平方向に視差を持つ３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）を再生することで、ユーザは、問題なく立体視を行うことができる。
　また、ユーザの視点が垂直方向であった場合は、垂直方向に視差を持つ３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）又は３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）を再生することで、ユーザは、問題なく立体視を行うことができる。
　このような機能を立体画像撮像装置２０に持たせる場合、デバイス制御部３１は、３Ｄモード時において、図２８に示すように、開口１６ａを水平方向Ｘ及び垂直方向Ｙに均等に４分割するように、液晶シャッタ１５の液晶層に非透過領域１５ｂを形成する。
　このようにすることで、３Ｄ撮像画像データ（Ａ＋Ｃ：Ｂ＋Ｄ）、３Ｄ撮像画像データ（Ａ＋Ｂ：Ｃ＋Ｄ）、３Ｄ撮像画像データ（Ｃ＋Ｄ：Ａ＋Ｂ）のいずれも、良好な視差を得ることができる。
　なお、図２５に示した撮像素子３００を用いた場合でも、デバイス制御部３１が同様の制御を行うことで、良好な視差を持つ３つの３Ｄ撮像画像データを１回の撮像で得ることができる。
　なお、３つの３Ｄ撮像画像データは、本撮像終了後、メモリカード２９に記録する前に生成してしまってもよいし、本撮像時には４つの視点の撮像画像データをメモリカード２９に記録し、再生時に、ユーザの視点に応じた３Ｄ撮像画像データを生成して、表示させるようにしてもよい。
　これまでの説明では、液晶シャッタ１５によって絞り１６の開口１６ａの一部を遮蔽するものとしたが、これに限らない。
　例えば、黒塗料を塗った部材を絞り１６と撮像素子１００（２００、３００）との間に出し入れ可能とし、３Ｄモード時には、デバイス制御部３１が、この部材を絞り１６と撮像素子１００（２００、３００）の間に挿入する制御を行ってもよい。この場合、この部材の幅を変えられるようにしたり、部材を回転させることができるようにしたりしておくことが好ましい。
　以上説明してきたように、本明細書には次の事項が開示されている。
　開示された立体画像撮像装置は、単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、前記撮影光学系は、撮影レンズ系と絞りを含み、前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する２種類又は４種類の画素を含み、前記２種類又は４種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に２分割するように前記開口の一部を遮蔽する遮蔽部と、前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備えるものである。本明細書では、撮影時の、絞りのＦ値、撮影光学系の焦点距離、撮影距離（被写体距離）、撮影シーン、撮影モード（２Ｄモード、３Ｄモード）のことを総称して撮影条件と定義する。
　開示された立体画像撮像装置は、前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素の各々が受光する光の通過する前記瞳領域が、互いに重なっているものである。
　開示された立体画像撮像装置は、前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素は、横軸を光の入射角とし縦軸を感度とした入射角感度特性が、前記縦軸を境にして線対称であり、かつ、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なりを有しているものである。
　開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記撮影レンズ系の焦点距離が短いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くするものである。
　開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影距離が遠いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くするものである。
　開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記絞りのＦ値に応じて前記遮蔽領域の幅を変更するものである。
　開示された立体画像撮像装置は、前記遮蔽領域変更制御部が、前記絞りのＦ値が大きいほど前記遮蔽領域の幅を狭くするものである。
　開示された立体画像撮像装置は、１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影シーンに応じて前記遮蔽領域の幅を変更するものである。
　開示された立体画像撮像装置は、前記遮蔽領域変更制御部が、被写体の明るさが閾値以下のときは、前記幅がゼロとなるように前記遮蔽部を制御するものである。
　開示された立体画像撮像装置は、１回の撮像で１つの画像データを記録する平面撮影モードを有し、前記遮蔽領域変更制御部は、前記平面撮影モード時には前記幅がゼロとなるように前記遮蔽部を制御するものである。
　開示された立体画像撮像装置は、前記平面撮影モード時に、隣接して配置された互いに異なる種類の２つ又は４つの画素の撮像信号を加算した信号を用いて画像データを生成する画像データ生成部を備えるものである。
　開示された立体画像撮像装置は、前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記水平方向と地面とが平行になる横撮りのときは、前記開口を前記水平方向に均等に２分割するように前記遮蔽部を制御し、前記垂直方向と地面とが平行になる縦撮りのときは、前記開口を前記垂直方向に均等に２分割するように前記遮蔽部を制御するものである。
　開示された立体画像撮像装置は、前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記開口を前記水平方向に均等に２分割し、かつ、前記垂直方向に均等に２分割するように前記遮蔽部を制御するものである。
　開示された立体画像撮像装置は、前記遮蔽部が、印加電圧制御により光を透過する領域と光を透過しない領域を任意に形成可能な素子であり、前記遮蔽領域変更制御部が、前記素子に供給する電圧を制御して前記光を透過しない領域の大きさを変更することで前記遮蔽領域の大きさを変更するものである。
　開示された立体画像撮像装置は、前記２種類又は４種類の画素群の各々に属する画素の総数が同一であるものである。
１００　撮像素子
１０　立体画像撮像装置
１２　撮影レンズ系
１６　絞り
１６ａ　絞り開口
１５　液晶シャッタ
１５ａ　非透過領域

Claims (15)

  1. 　単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、
    　前記撮影光学系は、撮影レンズ系と絞りを含み、
    　前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する２種類又は４種類の画素を含み、
    　前記２種類又は４種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、
    　前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に２分割するように前記開口の一部を遮蔽する遮蔽部と、
    　前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備える立体画像撮像装置。
  2. 　請求項１記載の立体画像撮像装置であって、
    　前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素の各々が受光する光の通過する前記瞳領域が、互いに重なっている立体画像撮像装置。
  3. 　請求項２記載の立体画像撮像装置であって、
    　前記２種類又は４種類の画素のうち、隣接して配置された互いに異なる種類の２つの画素は、横軸を光の入射角とし縦軸を感度とした入射角感度特性が、前記縦軸を境にして線対称であり、かつ、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なりを有している立体画像撮像装置。
  4. 　請求項１～３のいずれか１項記載の立体画像撮像装置であって、
    　１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
    　前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記撮影レンズ系の焦点距離が短いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くする立体画像撮像装置。
  5. 　請求項１～３のいずれか１項記載の立体画像撮像装置であって、
    　１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
    　前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影距離が遠いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くする立体画像撮像装置。
  6. 　請求項１～５のいずれか１項記載の立体画像撮像装置であって、
    　１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
    　前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記絞りのＦ値に応じて前記遮蔽領域の幅を変更する立体画像撮像装置。
  7. 　請求項６記載の立体画像撮像装置であって、
    　前記遮蔽領域変更制御部が、前記絞りのＦ値が大きいほど前記遮蔽領域の幅を狭くする立体画像撮像装置。
  8. 　請求項１～５のいずれか１項記載の立体画像撮像装置であって、
    　１回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
    　前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影シーンに応じて前記遮蔽領域の幅を変更する立体画像撮像装置。
  9. 　請求項８記載の立体画像撮像装置であって、
    　前記遮蔽領域変更制御部が、被写体の明るさが閾値以下のときは、前記幅がゼロとなるように前記遮蔽部を制御する立体画像撮像装置。
  10. 　請求項４～９のいずれか１項記載の立体画像撮像装置であって、
    　１回の撮像で１つの画像データを記録する平面撮影モードを有し、
    　前記遮蔽領域変更制御部は、前記平面撮影モード時には前記幅がゼロとなるように前記遮蔽部を制御する立体画像撮像装置。
  11. 　請求項１０記載の立体画像撮像装置であって、
    　前記平面撮影モード時に、隣接して配置された互いに異なる種類の２つ又は４つの画素の撮像信号を加算した信号を用いて画像データを生成する画像データ生成部を備える立体画像撮像装置。
  12. 　請求項４～１１のいずれか１項記載の立体画像撮像装置であって、
    　前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、
    　前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記水平方向と地面とが平行になる横撮りのときは、前記開口を前記水平方向に均等に２分割するように前記遮蔽部を制御し、前記垂直方向と地面とが平行になる縦撮りのときは、前記開口を前記垂直方向に均等に２分割するように前記遮蔽部を制御する立体画像撮像装置。
  13. 　請求項４～１１のいずれか１項記載の立体画像撮像装置であって、
    　前記撮像素子が、前記４種類の画素を含み、かつ、異なる種類の互いに隣接して配置された４つの画素からなる組を二次元状に配置した構成であり、
    　前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記開口を前記水平方向に均等に２分割し、かつ、前記垂直方向に均等に２分割するように前記遮蔽部を制御する立体画像撮像装置。
  14. 　請求項１～１３のいずれか１項記載の立体画像撮像装置であって、
    　前記遮蔽部が、印加電圧制御により光を透過する領域と光を透過しない領域を任意に形成可能な素子であり、
    　前記遮蔽領域変更制御部が、前記素子に供給する電圧を制御して前記光を透過しない領域の大きさを変更することで前記遮蔽領域の大きさを変更する立体画像撮像装置。
  15. 　請求項１～１４のいずれか１項記載の立体画像撮像装置であって、
    　前記２種類又は４種類の画素群の各々に属する画素の総数が同一である立体画像撮像装置。
PCT/JP2011/064906 2010-06-30 2011-06-29 立体画像撮像装置 WO2012002430A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010150577A JP2013201466A (ja) 2010-06-30 2010-06-30 立体画像撮像装置
JP2010-150577 2010-06-30

Publications (1)

Publication Number Publication Date
WO2012002430A1 true WO2012002430A1 (ja) 2012-01-05

Family

ID=45402135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/064906 WO2012002430A1 (ja) 2010-06-30 2011-06-29 立体画像撮像装置

Country Status (2)

Country Link
JP (1) JP2013201466A (ja)
WO (1) WO2012002430A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013143579A (ja) * 2012-01-06 2013-07-22 Canon Inc 撮像装置および撮像装置の制御方法
CN103313065A (zh) * 2012-03-16 2013-09-18 索尼公司 图像处理装置和图像处理方法
CN103365065A (zh) * 2012-03-30 2013-10-23 三星电子株式会社 光路调整装置和包括该光路调整装置的拍摄设备
WO2015001788A1 (ja) * 2013-07-05 2015-01-08 株式会社ニコン 撮像装置
JP2018196143A (ja) * 2012-03-30 2018-12-06 株式会社ニコン 撮像素子および撮像装置
CN113141475A (zh) * 2020-01-17 2021-07-20 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489926A (zh) * 2016-07-13 2021-10-08 索尼公司 成像装置、成像器件和图像处理装置
JP6812554B2 (ja) 2016-08-24 2021-01-13 アウスター インコーポレイテッド フィールド内の距離情報を収集するための光学システム
KR102198341B1 (ko) 2018-12-18 2021-01-04 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869063A (ja) * 1994-08-29 1996-03-12 Olympus Optical Co Ltd 立体映像録画装置および録画方法
JPH08511401A (ja) * 1994-03-28 1996-11-26 マグマ インコーポレイテッド ２次元および３次元イメージング装置
JPH10224821A (ja) * 1997-02-07 1998-08-21 Canon Inc 複眼カメラおよびその複眼カメラを用いた映像表示システム
JP2000134641A (ja) * 1998-10-22 2000-05-12 Sanyu Seni:Kk 立体写真撮影用デジタルスチルカメラ
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
JP2001222083A (ja) * 2000-02-07 2001-08-17 Canon Inc 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2002271657A (ja) * 2001-03-06 2002-09-20 Photron Ltd 多画面分光撮影装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2010268443A (ja) * 2009-04-17 2010-11-25 Sony Corp 撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08511401A (ja) * 1994-03-28 1996-11-26 マグマ インコーポレイテッド ２次元および３次元イメージング装置
JPH0869063A (ja) * 1994-08-29 1996-03-12 Olympus Optical Co Ltd 立体映像録画装置および録画方法
JPH10224821A (ja) * 1997-02-07 1998-08-21 Canon Inc 複眼カメラおよびその複眼カメラを用いた映像表示システム
JP2000134641A (ja) * 1998-10-22 2000-05-12 Sanyu Seni:Kk 立体写真撮影用デジタルスチルカメラ
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
JP2001222083A (ja) * 2000-02-07 2001-08-17 Canon Inc 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2002271657A (ja) * 2001-03-06 2002-09-20 Photron Ltd 多画面分光撮影装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2010268443A (ja) * 2009-04-17 2010-11-25 Sony Corp 撮像装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369698B2 (en) 2012-01-06 2016-06-14 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
JP2013143579A (ja) * 2012-01-06 2013-07-22 Canon Inc 撮像装置および撮像装置の制御方法
CN103313065A (zh) * 2012-03-16 2013-09-18 索尼公司 图像处理装置和图像处理方法
JP2013197649A (ja) * 2012-03-16 2013-09-30 Sony Corp 画像処理装置と画像処理方法
CN103365065A (zh) * 2012-03-30 2013-10-23 三星电子株式会社 光路调整装置和包括该光路调整装置的拍摄设备
EP2645165A3 (en) * 2012-03-30 2017-01-25 Samsung Electronics Co., Ltd. Optical path adjusting device for selectively capturing a 2D image or a 3D image
CN103365065B (zh) * 2012-03-30 2018-02-02 三星电子株式会社 光路调整装置和包括该光路调整装置的拍摄设备
JP2018196143A (ja) * 2012-03-30 2018-12-06 株式会社ニコン 撮像素子および撮像装置
CN105359519A (zh) * 2013-07-05 2016-02-24 株式会社尼康 摄像装置
WO2015001788A1 (ja) * 2013-07-05 2015-01-08 株式会社ニコン 撮像装置
JPWO2015001788A1 (ja) * 2013-07-05 2017-02-23 株式会社ニコン 撮像装置
CN105359519B (zh) * 2013-07-05 2017-07-04 株式会社尼康 摄像装置
US9706186B2 (en) 2013-07-05 2017-07-11 Nikon Corporation Imaging apparatus for generating parallax image data
CN113141475A (zh) * 2020-01-17 2021-07-20 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法
CN113141475B (zh) * 2020-01-17 2024-02-02 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法

Also Published As

Publication number Publication date
JP2013201466A (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
US11736676B2 (en) Imaging apparatus and image sensor array
WO2012002430A1 (ja) 立体画像撮像装置
JP5628913B2 (ja) 撮像装置および撮像方法
CN101995758B (zh) 成像装置和视频记录/播放系统
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
JP2012015819A (ja) 立体画像撮像装置
CN103597811B (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
CN104508531A (zh) 拍摄元件和拍摄装置
RU2567438C1 (ru) Устройство формирования изображений и способ управления им
JP2010154310A (ja) 複眼カメラ及び撮影方法
JP2010147940A (ja) 立体画像処理装置および立体画像処理方法
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP3676916B2 (ja) 立体撮像装置および立体表示装置
JP5634614B2 (ja) 撮像素子及び撮像装置
JP2010204385A (ja) 立体撮像装置および立体撮像方法
JP5907668B2 (ja) 撮像装置及び撮像素子
WO2012117619A1 (ja) 立体画像撮像装置
JP2012015820A (ja) 立体映像表示装置及び立体映像表示方法
WO2012132088A1 (ja) 撮像装置及び交換レンズ
WO2013042606A1 (ja) デジタルカメラ及び固体撮像装置
WO2013047080A1 (ja) 立体画撮像装置
JP2012042857A (ja) 撮像装置
JP2014215526A (ja) 撮像素子およびカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800892

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP