WO2013035427A1 - 立体撮像装置および方法 - Google Patents

立体撮像装置および方法 Download PDF

Info

Publication number
WO2013035427A1
WO2013035427A1 PCT/JP2012/067548 JP2012067548W WO2013035427A1 WO 2013035427 A1 WO2013035427 A1 WO 2013035427A1 JP 2012067548 W JP2012067548 W JP 2012067548W WO 2013035427 A1 WO2013035427 A1 WO 2013035427A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
focal length
optical system
aperture
stereoscopic
Prior art date
Application number
PCT/JP2012/067548
Other languages
English (en)
French (fr)
Inventor
岩崎　洋一
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP12830075.3A priority Critical patent/EP2755086B1/en
Priority to CN201280044016.1A priority patent/CN103782234B/zh
Priority to JP2013532488A priority patent/JP5611469B2/ja
Publication of WO2013035427A1 publication Critical patent/WO2013035427A1/ja
Priority to US14/193,207 priority patent/US9077979B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G03B35/06—Stereoscopic photography by sequential recording with axial movement of lens or gate between exposures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/24—Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Definitions

  • the present invention relates to a stereoscopic imaging apparatus, and more particularly, to a technique for acquiring a stereoscopic image composed of a plurality of parallax images by forming each of subject images that have passed through different areas of a photographing optical system on an imaging element.
  • Patent Document 1 two polarizing elements whose polarization axes are orthogonal to each other are arranged at the pupil position of a monocular optical system, and light beams passing through these polarizing elements are separated by a polarizing beam splitter, respectively, and two imaging elements are used. Describes a distance measuring device that calculates a defocus amount in the same manner as the phase difference AF by capturing two images by entering the image and comparing the phase differences of the images in the two images.
  • Patent Document 1 describes that stereoscopic imaging is possible by imaging two images, and in particular, by changing the F value of the pupil mask, the stereoscopic effect of a stereoscopic image captured by a monocular optical system is improved. There is a description that can be adjusted (paragraph [0047] of Patent Document 1).
  • Patent Document 1 describes three types of pupil masks that are selected according to the F value of the optical system, and each pupil mask has a pair of openings whose distances from the optical axis of the optical system are different from each other. ing.
  • the F value is small (bright)
  • the pupil mask having the pupil region farthest from the optical axis is used to maintain the distance measurement accuracy, and from the peripheral portion as the F value increases (darkens). Since the luminous flux is limited, a pupil mask is selected in which the pair of apertures approaches the optical axis of the optical system.
  • These pupil masks are selected according to the open F value, and when the F value changes depending on the focal length, the optimum focus detection is always possible by switching according to the focal length.
  • Patent Document 2 describes a focus detection apparatus that performs focus detection using a pupil division type phase difference detection method.
  • focus detection is performed by setting the aperture to an F value that is darker than the open F value when the focal length is greater than or equal to a predetermined value.
  • it is prohibited to perform focus detection with the aperture set to an F value that is darker than the open F value, or the F value when focus detection is performed with the aperture set to an F value that is darker than the open F value. (Paragraph [0053] in Patent Document 2).
  • Patent Document 1 describes that the stereoscopic effect is adjusted by changing the F value of the pupil mask, but there is no specific description regarding the adjustment of the stereoscopic effect.
  • an appropriate pupil mask is selected from three types of pupil masks. This selection of the pupil mask is performed in order to enable optimum focus detection, and the adjustment of stereoscopic effect is performed. Not going for.
  • the F value of the diaphragm is adjusted in order to perform proper focus detection.
  • the imaging apparatus described in Patent Document 2 does not capture a stereoscopic image in the first place.
  • the present invention has been made in view of such circumstances, and a stereoscopic imaging apparatus and method capable of preventing the stereoscopic effect of a parallax image for stereoscopic vision from being changed when the focal length of a photographing optical system is changed.
  • the purpose is to provide.
  • a stereoscopic imaging apparatus includes a single imaging optical system capable of adjusting a focal length and a subject image that has passed through different areas of the imaging optical system.
  • An imaging element that forms an image and outputs a plurality of parallax images having different parallaxes by photoelectrically converting subject images that have passed through different regions, and an aperture that restricts a light beam incident on the imaging element,
  • an aperture control means for controlling the F value of the aperture based on the focal length of the imaging optical system before and after adjusting the focal length of the imaging optical system.
  • the aperture control means adjusts the focal length of the imaging optical system. If the focal lengths before and after the operation are f1 and f2, and the F value of the aperture before adjusting the focal length of the photographic optical system is FNo1, the F value FNo2 of the aperture after adjusting the focal length of the photographic optical system is ,
  • the calculation is performed from the equation [1] based on the focal lengths f1 and f2 before and after adjusting the focal length of the imaging optical system.
  • the aperture is controlled so that the settable F value is close to the F value FNo2 of the aperture.
  • the above [Expression 1] is a conditional expression for calculating an F value (FNo2) that does not change the stereoscopic effect of the stereoscopic parallax image when the focal length of the photographing optical system changes from f1 to f2.
  • the stereoscopic imaging apparatus includes a focal length detection unit that detects a focal length of the photographing optical system, or a focal length setting unit that sets a focal length of the photographing optical system according to a manual operation.
  • the aperture control unit acquires the focal length detected by the focal length detection unit or the focal length set by the focal length setting unit.
  • the aperture control means continuously acquires the focal length f2 including the focal length during adjustment of the focal length of the photographing optical system at a predetermined time interval, and the photographing optical system. It is preferable to continuously control the F value of the diaphragm based on the focal length f1 before adjusting the focal length of the system and the focal length f2 continuously acquired at a predetermined time interval. According to this, it is possible to prevent the stereoscopic effect of the parallax image from being changed even when the focal length of the photographic optical system is changing, such as when recording a moving image.
  • the stereoscopic imaging apparatus further includes stereoscopic display means and display control means for causing the stereoscopic display means to display a stereoscopic image based on a plurality of parallax images output from the imaging element. Yes.
  • brightness detection means for detecting the brightness of a subject
  • exposure condition determination for determining an exposure condition based on the brightness of the subject detected by the brightness detection means
  • the exposure condition determining means determines exposure conditions other than the aperture based on the F value of the aperture controlled by the aperture control means.
  • brightness detection means for detecting the brightness of a subject, and an initial F value of the aperture is set based on the brightness of the subject detected by the brightness detection means
  • the F value of the aperture before adjusting the focal length of the photographing optical system is the F value set by the initial F value setting means.
  • the initial F value setting means is based on the brightness of the subject detected by the brightness detection means when a certain time has elapsed after the power is turned on.
  • the initial F value of the aperture is set.
  • the initial F-number setting unit is a subject detected by the brightness detection unit when the focal length of the photographing optical system first changes after the power is turned on.
  • the initial F value of the aperture is set based on the brightness of the lens.
  • the initial F-number setting unit determines the brightness of the subject detected by the brightness detection unit when the start of recording is instructed in the moving image shooting mode for shooting a moving image. Based on this, the initial F value of the aperture is set.
  • the stereoscopic effect designating unit that designates the size of the stereoscopic effect of the plurality of parallax images output from the imaging device, and the stereoscopic effect designated by the stereoscopic effect designating unit.
  • an initial F value setting means for setting an initial F value based on the aperture.
  • the F value of the diaphragm before adjusting the focal length of the photographing optical system is the F value set by the initial F value setting means. Value.
  • the stereoscopic imaging apparatus includes a distance measuring unit that measures a subject distance, and a focal length detection unit that detects a focal length of the photographing optical system.
  • the initial F value of the aperture is set based on the stereoscopic effect designated by the sense designation means, the focal length detected by the focal length detection means, and the subject distance measured by the distance measurement means.
  • the stereoscopic effect of the parallax image for stereoscopic viewing changes depending on the F value of the aperture, the focal length of the imaging optical system, and the subject distance, so that the stereoscopic effect specified by the stereoscopic effect specifying means can be obtained.
  • the initial F value of the aperture is set based on the focal length and the subject distance.
  • the aperture control unit controls the F value of the aperture based on the focal length of the photographing optical system
  • the F value of the aperture limit is exceeded
  • the limit F value is fixed. If the focal length of the photographing optical system is further changed after the diaphragm reaches the limit F value, the stereoscopic effect cannot be adjusted by the diaphragm, and the stereoscopic effect changes.
  • the aperture control unit controls the F value of the aperture based on the focal length of the photographing optical system
  • the F value of the aperture limit is exceeded
  • the limit F value is fixed, and the change of the focal length of the photographing optical system in the direction exceeding the limit F value of the stop is limited.
  • a photographing scene detection unit that detects a change in the photographing scene, and a photographing optical by the aperture control unit when the photographing scene detection unit detects that the photographing scene has changed. It is preferable to further include release means for releasing the control of the F value of the diaphragm based on the focal length of the system. Normally, the angle of view is adjusted so that the subject becomes the desired size after the subject (target) is determined. However, if the shooting scene changes, the subject changes and the adjustment of the angle of view is interrupted. I think that. Therefore, when the shooting scene changes, the control of the F value of the diaphragm for maintaining the stereoscopic effect of the subject is canceled. Note that the initial F value is set again under a predetermined condition, and the control of the F value of the aperture for maintaining the stereoscopic effect of the subject is resumed.
  • the imaging device is a first group of pixels for photoelectric conversion and a second group of pixels arranged in a matrix in the exposure region of the imaging device, respectively.
  • the first group of pixels that are limited in the light receiving direction of the light beam so as to receive only the subject image that has passed through the first region of the photographing optical system, and the subject image that has passed through the second region of the photographing optical system
  • An image sensor that can read out a plurality of parallax images from the first group of pixels and the second group of pixels. .
  • a plurality of parallax images can be acquired simultaneously with one image sensor, and the apparatus does not increase in size.
  • the present invention also relates to a single imaging optical system capable of adjusting the focal length and an imaging element in which a subject image that has passed through different areas of the imaging optical system is divided into pupils and formed into different areas.
  • Shooting optics before and after adjusting the focal length of the imaging device an image sensor that photoelectrically converts each passing subject image and outputs a plurality of parallax images with different parallax, a diaphragm that limits the light beam incident on the image sensor And a diaphragm control unit that controls the F value of the diaphragm based on the focal length of the system.
  • the aperture control unit sets the focal lengths before and after the focal length of the photographing optical system is adjusted by f1 and f2, respectively.
  • the F value FNo2 of the aperture after adjusting the focal length of the photographic optical system is an F value that can be set according to the above equation (1). Control to be Providing body imaging method.
  • a parallax image for stereoscopic viewing when the focal length of the photographing optical system is changed by controlling the F value of the diaphragm based on the focal length of the photographing optical system.
  • the stereoscopic effect can be prevented from changing.
  • the angle of view is adjusted by changing the focal length of the photographic optical system, the stereoscopic effect of the stereoscopic image does not change, and it is possible to prevent an uncomfortable feeling when adjusting the angle of view.
  • a parallax image having a stereoscopic effect desired by the user can be taken.
  • the perspective view which shows embodiment of the three-dimensional imaging device which concerns on this invention Rear view of the stereoscopic imaging device
  • Enlarged view of the main part of the image sensor The block diagram which shows embodiment of the said three-dimensional imaging device
  • Conceptual diagram showing the relationship between the focal length of the photographic lens, the F value of the stop, and the stereoscopic effect (parallax)
  • the figure which shows the other structural example of an image pick-up element The figure explaining the structure which image
  • FIG. 1 is a perspective view showing an embodiment of a stereoscopic imaging apparatus according to the present invention.
  • FIG. 2 is a rear view of the stereoscopic imaging apparatus.
  • the stereoscopic imaging apparatus 1 is a digital camera that receives light passing through a lens with an imaging device, converts the light into a digital signal, and records the signal on a recording medium.
  • the camera body 10 of the stereoscopic imaging apparatus 1 is formed in a horizontally long rectangular box shape, and a lens unit 12, a strobe 21 and the like are disposed on the front surface thereof as shown in FIG.
  • a shutter button 22, a power / mode switch 24, a mode dial 26, and the like are disposed on the upper surface of the camera body 10.
  • a 3D image display device 28, a zoom button 30, a cross button 32, a MENU / OK button 34, a playback button 36, a BACK button 38, and the like are disposed on the back of the camera body 10. Yes.
  • a battery insertion portion and a memory card slot are provided on the lower surface of the camera body 10 (not shown) via a tripod screw hole and an openable / closable cover.
  • the battery insertion portion and the memory card slot have a battery and a memory. The card is loaded.
  • the lens unit 12 is composed of a retractable zoom lens, and is set out from the camera body 10 by setting the camera mode to the photographing mode with the power / mode switch 24. Since the zoom mechanism and the retracting mechanism of the lens unit 12 are well-known techniques, a description of their specific configuration is omitted here.
  • the strobe 21 irradiates strobe light toward the main subject.
  • the shutter button 22 is composed of a two-stage stroke type switch composed of a so-called “half press” and “full press”.
  • the shutter button 22 is “half-pressed” to activate the AE / AF, and “full-press” to execute shooting.
  • the shutter button 22 is “fully pressed” to perform shooting.
  • the power / mode switch 24 has both a function as a power switch for turning on / off the power of the stereoscopic imaging apparatus 1 and a function as a mode switch for setting the mode of the stereoscopic imaging apparatus 1. It is slidably disposed between the “reproduction position” and the “photographing position”. The stereoscopic imaging apparatus 1 is turned on by sliding the power / mode switch 24 to the “reproduction position” or “photographing position”, and turned off by adjusting to the “OFF position”. . Then, the power / mode switch 24 is slid and set to “playback position” to set “playback mode”, and set to “shooting position” to set “shooting mode”.
  • the mode dial 26 functions as a shooting mode setting means for setting the shooting mode of the stereoscopic imaging device 1, and the shooting mode of the stereoscopic imaging device 1 is set to various modes depending on the setting position of the mode dial. For example, there are a “planar image capturing mode” for capturing a planar image, a “stereoscopic image capturing mode” for capturing a stereoscopic image (3D image), and a “moving image capturing mode” for capturing a moving image.
  • the 3D image display device 28 is a stereoscopic display means capable of displaying a stereoscopic image (left parallax image and right parallax image) as a directional image having a predetermined directivity by a parallax barrier.
  • a parallax including a pattern in which light transmitting portions and light shielding portions are alternately arranged at a predetermined pitch on the parallax barrier display layer of the 3D image display device 28.
  • a lux barrier is generated, and strip-shaped image fragments showing left and right images are alternately arranged and displayed on the lower image display surface.
  • the form of the 3D image display device 28 is not limited to this, and any device that uses a lenticular lens, polarizing glasses, or liquid crystal shutter glasses may be used as long as the left parallax image and the right parallax image can be recognizable as a stereoscopic image.
  • the left parallax image and the right parallax image may be viewed separately by wearing special glasses such as the above.
  • the zoom button 30 functions as zoom instruction means for instructing zooming, and includes a zoom tele button 30T for instructing zooming to the telephoto side and a zoom wide button 30W for instructing zooming to the wide angle side.
  • the focal length of the lens unit 12 is changed by operating the zoom tele button 30T and the zoom wide button 30W in the shooting mode. Further, when the zoom tele button 30T and the zoom wide button 30W are operated in the reproduction mode, the image being reproduced is enlarged or reduced.
  • the cross button 32 is an operation unit for inputting instructions in four directions, up, down, left, and right, and is a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu.
  • the left / right key functions as a frame advance (forward / reverse feed) button in the playback mode.
  • the MENU / OK button 34 has both a function as a menu button for instructing to display a menu on the screen of the 3D image display device 28 and a function as an OK button for instructing confirmation and execution of selection contents.
  • the operation key has both a function as a menu button for instructing to display a menu on the screen of the 3D image display device 28 and a function as an OK button for instructing confirmation and execution of selection contents. The operation key.
  • the playback button 36 is a button for switching to a playback mode in which a 3D image display device 28 displays a still image or a moving image of a captured and recorded stereoscopic image (3D image), planar image (2D image).
  • the BACK button 38 functions as a button for instructing to cancel the input operation or return to the previous operation state.
  • the lens unit 12 is mainly composed of a photographing lens 14, a diaphragm 16, and an image sensor 17 that is a phase difference image sensor.
  • the photographing lens 14 is an imaging optical system composed of a number of lenses including a focus lens and a zoom lens.
  • the diaphragm 16 is composed of, for example, five diaphragm blades, and the diaphragm value (F value) is controlled continuously or stepwise from F1 to F16.
  • F value the diaphragm value
  • the image light indicating the subject is imaged on the light receiving surface of the image sensor 17 through the photographing lens 14 and the diaphragm 16.
  • FIG. 3 is a diagram illustrating a configuration example of the image sensor 17.
  • the image sensor 17 includes an odd-line pixel (also referred to as a main pixel or an A-plane pixel) and an even-line pixel (sub-pixel, B-plane) arranged in a matrix.
  • the image signals for the two surfaces photoelectrically converted by these main and sub-pixels can be read out independently.
  • the odd-numbered lines (1, 3, 5,...) Of the image sensor 17 are provided with R (red), G (green), and B (blue) color filters.
  • R red
  • G green
  • B blue
  • GRGR... Pixel array lines and BGBG... Pixel array lines are alternately provided.
  • even lines (2, 4, 6, In the same manner as the odd-numbered lines, the GRGR... Pixel array lines and the BGBG... Pixel array lines are alternately provided, and the pixels are half of the even-numbered pixels. The pitch is shifted in the line direction.
  • FIG. 4 is an enlarged view of a main part of the image sensor 17 functioning as a phase difference image sensor.
  • a light shielding member 17A is arranged on the front side (microlens L side) of the photodiode PD of the main pixel of the image sensor 17, while part (b) of FIG.
  • a light shielding member 17B is disposed on the front side of the photodiode PD of the sub-pixel.
  • the microlens L and the light shielding members 17A and 17B have a function as pupil dividing means.
  • the light shielding member 17A is the left half of the light receiving surface of the main pixel (photodiode PD). Shield from light.
  • the light shielding member 17B shields the right half of the light receiving surface of the subpixel (photodiode PD). Therefore, only the right side of the optical axis of the light beam passing through the exit pupil of the photographing lens 14 is received by the sub-pixel. In this way, the light beam passing through the exit pupil is divided into left and right by the microlens L and the light shielding members 17A and 17B, which are pupil dividing means, and enter into the main pixel and the subpixel, respectively.
  • the in-focus portion is on the image sensor 17.
  • the front and rear pin portions are incident on different positions on the image sensor 17 (out of phase). Accordingly, the subject image corresponding to the left half light beam and the subject image corresponding to the right half light beam can be acquired as parallax images (left parallax image, right parallax image) having different parallaxes.
  • FIG. 5 is a block diagram showing an embodiment of the stereoscopic imaging apparatus 1 according to the present invention.
  • the stereoscopic imaging apparatus 1 records a captured image on a recording medium 54, and the operation of the entire apparatus is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the stereoscopic imaging apparatus 1 is provided with operation units 48 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, a zoom button, and a BACK key.
  • operation units 48 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, a zoom button, and a BACK key.
  • a signal from the operation unit 48 is input to the CPU 40, and the CPU 40 controls each circuit of the stereoscopic imaging apparatus 1 based on the input signal. For example, lens drive control, aperture drive control, shooting operation control, image processing control, image Data recording / reproduction control, display control of the 3D image display device 28, and the like are performed.
  • the luminous flux that has passed through the photographing lens 14 and the diaphragm 16 is imaged on the image sensor 17, and signal charges are accumulated in the image sensor 17.
  • the signal charge accumulated in the image sensor 17 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the timing generator 45.
  • the voltage signal read from the image sensor 17 is applied to the analog signal processing unit 60.
  • the analog signal processing unit 60 performs correlated double sampling processing on the voltage signal output from the image sensor 17 (for the purpose of reducing noise (particularly thermal noise) included in the output signal of the image sensor).
  • R, G, B signals for each pixel are sampled and held by the process of obtaining accurate pixel data by taking the difference between the feedthrough component level and the pixel signal component level included in the output signal for each pixel of After being amplified, it is added to the A / D converter 61.
  • the A / D converter 61 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 62.
  • the digital signal processing unit 63 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 62. Perform signal processing.
  • predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc.
  • main image data read from the odd-line main pixels of the image sensor 17 is processed as left-eye image data
  • sub-image data read from the even-line sub-pixels is processed as right-eye image data.
  • the left-eye image data and right-eye image data (3D image data) processed by the digital signal processing unit 63 are input to the VRAM 50.
  • the VRAM 50 includes an A area and a B area for recording 3D image data each representing a 3D image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is processed into a strip-shaped image fragment by the 3D image signal processing unit 64, encoded by the video encoder 66, and 3D image display device 28 for stereoscopic display provided on the back of the camera. As a result, the 3D subject image is continuously displayed on the display screen of the 3D image display device 28.
  • the CCD 40 starts the AF operation and the AE operation, moves the focus lens in the optical axis direction via the lens driving unit 47, and Control is performed so that the focus lens comes to the in-focus position.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase difference AF processing.
  • contrast AF processing a high-frequency component of a parallax image in a predetermined focus area is extracted from at least one parallax image of left and right parallax images, and the in-focus state is indicated by integrating the high-frequency component.
  • An AF evaluation value is calculated.
  • AF control is performed by controlling the focus lens in the photographic lens 14 so that the AF evaluation value is maximized.
  • phase difference AF processing a phase difference between parallax images corresponding to a main pixel and a sub-pixel in a predetermined focus area among right and left parallax images is detected, and based on information indicating the phase difference. To obtain the defocus amount.
  • AF control is performed by controlling the focus lens in the photographic lens 14 so that the defocus amount becomes zero.
  • the CPU 40 moves the zoom lens back and forth in the optical axis direction via the lens driving unit 47 as necessary to change the focal length.
  • the image data output from the A / D converter 61 when the shutter button 22 is half-pressed is taken into the AE / AWB detection unit 44.
  • the AE / AWB detection unit 44 integrates the G signals of the entire screen, or integrates the G signals that are weighted differently at the center and the periphery of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE / AWB detection unit 44, and based on this shooting Ev value, the F value of the diaphragm 16 and the electronic shutter (shutter speed) of the image sensor 17. ) Is determined according to a predetermined program diagram, the aperture 16 is controlled via the aperture drive unit 46 based on the determined aperture value, and the image sensor 17 via the timing generator 45 based on the determined shutter speed. To control the charge accumulation time.
  • the CPU 40 controls the F value of the diaphragm 16 in accordance with the change in the focal length of the photographic lens 14, but in accordance with the control of the F value, the shutter speed or shooting sensitivity (gain) is set so that the exposure condition does not change. To control. Details of the control of the F value of the diaphragm 16 will be described later.
  • Two pieces of image data temporarily recorded in the VRAM 50 are appropriately read out by the digital signal processing unit 63, and here, predetermined signal processing including generation processing (YC processing) of luminance data and color difference data of the image data is performed. Is done.
  • the YC processed image data (YC data) is recorded in the VRAM 50 again.
  • the two pieces of YC data are respectively output to the compression / decompression processing unit 65, and after performing predetermined compression processing such as JPEG (joint photographic experts group), they are recorded in the VRAM 50 again.
  • the 3D image signal processing unit 64 From the two YC data (compressed data) recorded in the VRAM 50, the 3D image signal processing unit 64 generates a multi-picture file (MP file: a file in a format in which a plurality of images are connected), and the MP file is The data is read by the media controller 52 and recorded on the recording medium 54.
  • MP file a file in a format in which a plurality of images are connected
  • the AF operation is performed not only when the shutter button 22 is first pressed (half-pressed) but also when the left and right left parallax images are continuously captured.
  • Examples of the case where the left and right parallax images are continuously captured include a case where a live view image (through image) is captured and a case where a moving image is captured.
  • the stereoscopic imaging device 1 can acquire not only a stereoscopic image but also a two-dimensional image.
  • the stereoscopic imaging apparatus 1 can record and reproduce audio as well as moving images and still images.
  • the microphone 57 inputs the transmission voice
  • the speaker 56 outputs the reception voice
  • the voice input / output circuit 55 encodes the voice input from the microphone and decodes the received voice.
  • the CPU 40 drives the photographing lens 14 and the diaphragm 16 to the initial positions.
  • the subject light that has passed through the photographic lens 14 forms an image on the light receiving surface of the image sensor 17 through the diaphragm 16.
  • the signal charges stored in the main pixel and sub-pixel of the image sensor 17 by the timing generator 45 are sequentially read out at a predetermined frame rate as a voltage signal (image signal) corresponding to the signal charge, and the analog signal processing unit 60,
  • the images are sequentially input to the digital signal processing unit 63 via the A / D converter 61 and the image input controller 62, and left and right parallax images are sequentially generated.
  • the generated left and right parallax images are sequentially input to the VRAM 50 and displayed on the 3D image display device 28 in real time.
  • the photographer can confirm the shooting angle of view by viewing the image (through image) displayed in real time on the 3D image display device 28.
  • the CPU 40 zooms the photographing lens 14 via the lens driving unit 47 (adjusts the focal length) in response to an operation input of the zoom button of the operation unit 48.
  • the present invention controls the F value of the diaphragm 16 so that the stereoscopic effect of the left and right parallax images (stereoscopic images) displayed in real time on the 3D image display device 28 during zooming (changing the focal length) of the photographing lens 14 does not change. To do.
  • FIG. 6 is a diagram showing the relationship between the subject depth and the focal depth.
  • FIG. O Object plane O 1 : Limit point of front subject depth
  • O 2 Limit point of rear subject depth I, I 1 , I 2 : Image position corresponding to O
  • O 1 , O 2 a Front principal point of lens system Distance from position H to O b: Distance from the rear principal point position H ′ to I of the lens system
  • d 1 Back subject depth
  • d 2 Front subject depth d 1 ′, d 2 ′: When blur ⁇ is assumed If the F value of the aperture is F and the focal length of the lens is f, the rear subject depth d 1 and the front subject depth d 2 can be expressed by the following equations, respectively.
  • the blur portions that become the front pins or the rear pins respectively enter the different positions on the image sensor 17 (the phase is shifted).
  • the value that is, controlling the F value of the diaphragm 16 according to the above [Equation 1]
  • FIG. 7 is a flowchart showing a first embodiment of aperture control mainly for continuously capturing left and right parallax images.
  • the initial F value of the diaphragm 16 is set, and the F value of the diaphragm 16 is set to the initial F value (step S10).
  • the initial F value is set by, for example, calculating the brightness of the subject (shooting Ev value) from the integrated value input from the AE / AWB detection unit 44, and based on this shooting Ev value, the F value of the diaphragm 16 and the image sensor. 17 electronic shutters (shutter speeds) are determined according to a predetermined program diagram. Then, after the power of the stereoscopic imaging apparatus 1 is turned on, the F value of the diaphragm 16 determined when a certain time has elapsed is set as the initial F value.
  • the focal length f1 of the taking lens 14 when the diaphragm 16 is set to the initial F value is acquired (step S12).
  • the focal length f1 can be obtained by detecting the lens position of the taking lens 14, or can be obtained from a zoom command value output from the CPU 40 to the lens driving unit 47 based on the operation of the zoom button.
  • the CPU 40 determines whether or not the focal length of the taking lens 14 has changed (step S14). If the focal length has changed (in the case of “Yes”), the process proceeds to step S16. If the focal length has not changed (in the case of “No”), the process proceeds to step S22.
  • step S16 the focal length f2 after the photographing lens 14 is changed is acquired. Then, based on the initial F value (FNo1) set in step S10, the focal length f1 acquired in step S12, and the focal length f2 acquired in step S16, the focal length is calculated according to the conditional expression of the above-described [Equation 1].
  • An F value (FNo2) of the diaphragm 16 is calculated that does not change the stereoscopic effect of the left and right parallax images even if f changes from f1 to f2 (step S18).
  • the CPU 40 controls the aperture 16 via the aperture drive unit 46 so as to be the F value (FNo2) calculated in step S18 (step S20).
  • Step S22 determines whether or not to continue shooting. For example, when shooting a 3D still image, the shooting is terminated when the 3D still image is shot. When shooting a 3D moving image, the shooting is ended when the recording is paused / finished. On the other hand, if it is determined that the shooting is being continued (in the case of “Yes”), the process returns to step S14, and the processes from step S14 to step S22 are repeated.
  • the stereoscopic effect of the left and right parallax images is determined by the initial F value of the diaphragm 16 and the focal length f1 of the photographic lens 14, but the 3D through image displayed in real time on the 3D image display device 28 is then displayed.
  • the F value of the diaphragm 16 is controlled in accordance with the change in the focal length of the photographic lens 14, thereby providing a three-dimensional effect. It can be prevented from changing.
  • FIG. 8 is a conceptual diagram showing the relationship between the focal length of the taking lens 14, the F value of the diaphragm 16, and the stereoscopic effect (parallax).
  • the stereoscopic effect (parallax) of the left and right parallax images is determined by the initial F value and the zoom position.
  • the initial F value and the zoom position when the zoom position (focal length) changes thereafter, the diaphragm 16 takes off.
  • the F value that does not change the stereoscopic effect cannot be set beyond the range (F1 to F16) to be obtained.
  • parallax P 3 a predetermined stereoscopic effect
  • the F value of the diaphragm 16 is fixed to the limit F value.
  • the F value is fixed, so that the parallax changes.
  • the F value of the diaphragm 16 may be fixed to the limit F value, and the change of the zoom position (focal length) in the direction exceeding the limit of the diaphragm 16 of the photographing lens 14 may be limited. In this case, the stereoscopic effect can be prevented from changing, but the zoom range of the taking lens 14 is limited.
  • the focal length f2 during the change of the focal length of the photographic lens 14 is continuously acquired at a predetermined time interval (for example, 1/30 [second] or 1/60 [second] corresponding to the frame rate).
  • a predetermined time interval for example, 1/30 [second] or 1/60 [second] corresponding to the frame rate.
  • the F value of the diaphragm 16 is continuously controlled so that the F value calculated continuously is obtained. According to this, it is possible to prevent the stereoscopic effect of the parallax image from being changed even when the 3D through image is displayed or the focal length of the photographing lens 14 is changed during moving image recording.
  • FIG. 9 is a flowchart showing a second embodiment of aperture control mainly in the case of continuously capturing left and right parallax images.
  • the same step number is attached
  • step S30 is added between step S22 and step S24.
  • step S30 it is determined whether or not the shooting scene has changed. For example, when the subject brightness changes by a certain value (for example, 1 EV) or when the subject distance changes by a certain distance or more, the subject color temperature or the light source type that illuminates the subject changes. This can be done based on a change in gain value during white balance correction.
  • a change in a shooting scene can be determined from a change in the current position or shooting direction.
  • step S30 if it is determined that the shooting scene has changed (in the case of “Yes”), the flow line from step S14 to step S22 is removed, and the process proceeds to step S10.
  • FIG. 10 is a diagram showing another configuration example of the image sensor 17 ′.
  • the image pickup device 17 ′ includes one photodiode in which four photodiodes A, B, C, and D are two-dimensionally arranged and one microlens ML ′ is disposed so as to cover the four photodiodes.
  • This unit is arranged two-dimensionally as a unit (4 pixels, 1 microlens). Each photodiode in the unit can be read independently.
  • FIG. 11 is a diagram illustrating a mechanism for capturing a stereoscopic image with the image sensor 17 '.
  • the combination of the photodiodes A and C of each unit receives only the left side of the optical axis of the light beam passing through the exit pupil.
  • the composite image of the photodiodes A and C becomes the left parallax image.
  • the combination of the photodiodes B and D of each unit becomes a sub-pixel that receives only the right side of the optical axis of the light beam passing through the exit pupil, and the combined image of the photodiodes B and D is the right parallax image.
  • the combination of the photodiodes A and B of each unit passes through the exit pupil. Only the left side of the optical axis of the luminous flux is the main pixel that receives light, and the composite image of the photodiodes A and B is the left parallax image.
  • a combination of the photodiodes C and D of each unit is a sub-pixel that receives only the right side of the optical axis of the light beam passing through the exit pupil, and the combined image of the photodiodes C and D is the right parallax image. Become.
  • the F value of the diaphragm 16 determined by the AE control is set as the initial F value when a certain time has elapsed after the power of the stereoscopic imaging apparatus 1 is turned on.
  • the initial F value set as described above is updated with the F value determined by the AE control based on the latest brightness of the subject (shooting Ev value) until the focal length of the shooting lens 14 is changed. Also good. That is, the F value of the diaphragm 16 calculated based on the photographing Ev value when the focal length of the photographing lens 14 is changed for the first time may be used as the initial F value.
  • the initial F value may be set again after the shooting scene changes.
  • the F value of the diaphragm 16 is calculated based on the shooting Ev value when the recording start button is pressed, and the calculated F value is used as the initial F value. It can be.
  • the user can designate the size of the stereoscopic effect (for example, large / medium / small) by the operation unit 48, and set the initial F value based on the designated stereoscopic effect. Also good. In this case, it is preferable to set the initial F value of the diaphragm based on the designated stereoscopic effect, the focal length of the photographing lens at that time, and the subject distance.
  • the F value of the diaphragm is controlled so as to be the F value FNo2 calculated by the formula [1].
  • the calculated F value FNo2 It also includes the case where control is performed so that the F value closest to is obtained. According to this, the present invention can be applied even to an aperture in which the F value cannot be controlled continuously (a diaphragm with a finite number of settable F values).
  • the imaging device that can simultaneously acquire a plurality of parallax images is not limited to the one in this embodiment, and various types can be applied.
  • SYMBOLS 1 Stereoscopic imaging device, 12 ... Lens unit, 14 ... Shooting lens, 16: Aperture, 17, 17 '... Imaging element, 17A, 17B ... Light-shielding member, 28 ... 3D image display device, 40 ... CPU, 46 ... Aperture drive , 47... Lens driving unit, 48 .. operation unit, 64... 3D image signal processing unit

Abstract

　単一の撮影光学系を有する立体撮像装置において、絞りの初期Ｆ値ＦNo1、及び撮影レンズの焦点距離ｆ1を取得する（ステップＳ１０、Ｓ１２）。その後、撮影レンズの焦点距離がｆ２に変化すると、焦点距離を調整する前後で前記立体撮像装置から得られる立体視用の左右の視差画像の立体感が変化しないＦ値（ＦNo2）を、所定の条件式（ＦNo2＝ＦNo1*（f2/ｆ1）２）により算出し（ステップＳ１８）、この算出したＦ値（ＦNo2）になるように絞りを制御する（ステップＳ２０）。これにより、撮影レンズの焦点距離を変えて画角の調整を行う場合に、立体感が変化しないようにすることができる。

Description

立体撮像装置および方法
　本発明は立体撮像装置に係り、特に撮影光学系の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、複数の視差画像からなる立体画像を取得する技術に関する。
　特許文献１には、単眼の光学系の瞳位置に偏光軸が互いに直交する２つの偏光素子を配置し、これらの偏光素子を通過する光束をそれぞれ偏光ビームスプリッタにより分離し、それぞれ２つの撮像素子に入射させて２つの画像を撮像し、２つの画像の中の像の位相差を比較することで、位相差ＡＦと同様にしてデフォーカス量を算出する測距装置が記載されている。
　また、特許文献１には、２つの画像の撮像により立体撮像が可能になるという記載があり、特に瞳マスクのＦ値を変えることで、単眼の光学系で撮影される立体画像の立体感の調節を行うことができる記載がある（特許文献１の段落［００４７］）。
　更に、特許文献１には、光学系のＦ値によって選択される３種類の瞳マスクが記載されており、各瞳マスクは、光学系の光軸からの距離が互いに異なる一対の開口を有している。そして、Ｆ値が小さい（明るい）場合は、光軸から最も離れた瞳領域を有する瞳マスクを使用することで、測距精度の維持を図り、Ｆ値が大きく（暗く）なるに従って周辺部から光束が制限されるので、一対の開口が光学系の光軸に近づく瞳マスクを選択している。また、これらの瞳マスクは、開放Ｆ値に合わせて選択し、焦点距離によってＦ値が変わる場合、焦点距離によって切り替えることにより、常時最適の焦点検出を可能にしている。
　特許文献２には、瞳分割型位相差検出方式の焦点検出を行う焦点検出装置が記載されている。この焦点検出装置は、交換レンズの最大像面デフォーカス量は焦点距離に概略比例するので、焦点距離が所定値以上の場合に絞りを開放Ｆ値より暗いＦ値にして焦点検出を行うようにし、以下の場合には絞りを開放Ｆ値より暗いＦ値にして焦点検出を行うことを禁止したり、あるいは絞りを開放Ｆ値より暗いＦ値にして焦点検出を行う場合のＦ値を焦点距離に応じて調整するようにしている（特許文献２の段落［００５３］）。
特開２００９－１６８９９５号公報 特開２０１１－２４２１８２号公報
　単眼の立体撮像装置において、撮影光学系の焦点距離を変えて画角の調整を行う場合、焦点距離の変化に応じて左右の視差画像の視差（立体感）が変化してしまい、画角の調整時に違和感が生じるという問題があり、また、ユーザが希望する立体感を有する視差画像を撮影することができないという問題がある。
　特許文献１には、瞳マスクのＦ値を変えることで立体感の調節を行う記載があるが、具体的な立体感の調整に関する記載はない。尚、特許文献１には、３種類の瞳マスクから適宜の瞳マスクを選択しているが、この瞳マスクの選択は、最適な焦点検出を可能にするために行っており、立体感の調整のために行っていない。
　また、特許文献２に記載の発明も適正な焦点検出を行うために絞りのＦ値を調整しているが、特許文献２に記載の撮像装置は、そもそも立体画像の撮影を行うものではない。
　本発明はこのような事情に鑑みてなされたもので、撮影光学系の焦点距離を変化させたときに立体視用の視差画像の立体感を変化させないようにすることができる立体撮像装置および方法を提供することを目的とする。
　この目的を達成するために本発明の一の態様に係る立体撮像装置は、焦点距離の調整が可能な単一の撮影光学系と、撮影光学系の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、異なる領域を通過した被写体像をそれぞれ光電変換して視差の異なる複数の視差画像を出力する撮像素子と、撮像素子に入射する光束を制限する絞りと、撮影光学系の焦点距離を調整する前後で、撮影光学系の焦点距離に基づいて絞りのＦ値を制御する絞り制御手段と、を備え、絞り制御手段は、撮影光学系の焦点距離を調整する前後の焦点距離をそれぞれｆ１，ｆ２、撮影光学系の焦点距離を調整する前の絞りのＦ値をＦNo1とすると、撮影光学系の焦点距離の調整後の絞りのＦ値ＦNo2が、次式、
Figure JPOXMLDOC01-appb-M000003
に従って設定可能なＦ値になるように制御している。
　本発明の一の態様によれば、単一の撮影光学系を有する立体撮像装置において、撮影光学系の焦点距離を調整する前後の焦点距離ｆ１，ｆ２に基づいて［数１］式から算出される絞りのＦ値ＦNo2に近い設定可能なＦ値になるように絞りを制御するようにしている。上記［数１］式は、撮影光学系の焦点距離がｆ１からｆ２に変化した場合に、立体視用の視差画像の立体感を変化させないＦ値（ＦNo2）を算出する条件式である。上記［数１］式にしたがって絞りのＦ値を制御することにより、撮影光学系の焦点距離を変えて画角の調整を行う場合に、立体画像の立体感が変化せず、画角の調整時に違和感が生じることがない。また、撮影光学系の焦点距離にかかわらず、ユーザが希望する立体感を有する視差画像を撮影することが可能になる。
　本発明の他の態様に係る立体撮像装置において、撮影光学系の焦点距離を検出する焦点距離検出手段、又は撮影光学系の焦点距離を手動操作に応じて設定する焦点距離設定手段を有し、絞り制御手段は、焦点距離検出手段により検出された焦点距離、又は焦点距離設定手段により設定された焦点距離を取得するようにしている。
　本発明の更に他の態様に係る立体撮像装置において、絞り制御手段は、撮影光学系の焦点距離の調整中の焦点距離を含む焦点距離ｆ２を所定の時間間隔で連続的に取得し、撮影光学系の焦点距離を調整する前の焦点距離ｆ１と所定の時間間隔で連続的に取得した焦点距離ｆ２とに基づいて絞りのＦ値を連続的に制御することが好ましい。これによれば、動画記録時等で撮影光学系の焦点距離が変化中も視差画像の立体感を変化させないようにすることができる。
　本発明の更に他の態様に係る立体撮像装置において、立体表示手段と、撮像素子から出力される複数の視差画像に基づいて立体表示手段に立体画像を表示させる表示制御手段と、を更に備えている。
　本発明の更に他の態様に係る立体撮像装置において、被写体の明るさを検出する明るさ検出手段と、明るさ検出手段により検出された被写体の明るさに基づいて露出条件を決定する露出条件決定手段と、を備え、露出条件決定手段は、絞り制御手段により制御される絞りのＦ値に基づいて絞り以外の露出条件を決定するようにしている。これにより、撮影光学系の焦点距離の変化に応じて絞りのＦ値が制御されても、焦点距離の変化の前後で撮影される視差画像の明るさが変化しないようにすることができる。
　本発明の更に他の態様に係る立体撮像装置において、被写体の明るさを検出する明るさ検出手段と、明るさ検出手段により検出された被写体の明るさに基づいて絞りの初期のＦ値を設定する初期Ｆ値設定手段と、を備え、撮影光学系の焦点距離を調整する前の絞りのＦ値は、初期Ｆ値設定手段により設定されたＦ値である。
　本発明の更に他の態様に係る立体撮像装置において、初期Ｆ値設定手段は、電源がオンされた後、一定時間が経過したときに明るさ検出手段により検出された被写体の明るさに基づいて絞りの初期のＦ値を設定するようにしている。
　本発明の更に他の態様に係る立体撮像装置において、初期Ｆ値設定手段は、電源がオンされた後、撮影光学系の焦点距離が最初に変化したときに明るさ検出手段により検出された被写体の明るさに基づいて絞りの初期のＦ値を設定するようにしている。
　本発明の更に他の態様に係る立体撮像装置において、初期Ｆ値設定手段は、動画を撮影する動画撮影モードで録画開始が指示されたときに明るさ検出手段により検出された被写体の明るさに基づいて絞りの初期のＦ値を設定するようにしている。
　本発明の更に他の態様に係る立体撮像装置において、撮像素子から出力される複数の視差画像の立体感の大きさを指定する立体感指定手段と、立体感指定手段により指定された立体感に基づいて絞りの初期のＦ値を設定する設定する初期Ｆ値設定手段と、を備え、撮影光学系の焦点距離を調整する前の絞りのＦ値は、初期Ｆ値設定手段により設定されたＦ値である。これにより、立体感指定手段により指定された立体感が得られるＦ値が初期設定され、その後、焦点距離が変化しても立体感が変化しないようにすることができる。
　本発明の更に他の態様に係る立体撮像装置において、被写体距離を測定する測距手段と、撮影光学系の焦点距離を検出する焦点距離検出手段と、を備え、初期Ｆ値設定手段は、立体感指定手段により指定された立体感、焦点距離検出手段により検出された焦点距離及び測距手段により測定された被写体距離に基づいて絞りの初期のＦ値を設定するようにしている。立体視用の視差画像の立体感は、絞りのＦ値、撮影光学系の焦点距離及び被写体距離により変化するため、立体感指定手段により指定された立体感が得られるように、撮影光学系の焦点距離及び被写体距離に基づいて絞りの初期のＦ値を設定するようにしている。
　本発明の更に他の態様に係る立体撮像装置において、絞り制御手段は、撮影光学系の焦点距離に基づいて絞りのＦ値を制御する際に、絞りの限界のＦ値を超える場合には、その限界のＦ値に固定するようにしている。絞りが限界のＦ値に達した後、更に撮影光学系の焦点距離を変化させると、絞りにより立体感を調整することができないため、立体感が変化することになる。
　本発明の更に他の態様に係る立体撮像装置において、絞り制御手段は、撮影光学系の焦点距離に基づいて絞りのＦ値を制御する際に、絞りの限界のＦ値を超える場合には、その限界のＦ値に固定するとともに、絞りの限界のＦ値を超える方向への撮影光学系の焦点距離の変化を制限するようにしている。これにより、撮影光学系の焦点距離が制限されるが、立体視用の視差画像の立体感を維持することができる。
　本発明の更に他の態様に係る立体撮像装置において、撮影シーンの変化を検出する撮影シーン検出手段と、撮影シーン検出手段により撮影シーンが変化したことが検出されると、絞り制御手段による撮影光学系の焦点距離に基づく絞りのＦ値の制御を解除する解除手段と、を更に備えることが好ましい。通常、画角の調整は、被写体（ターゲット）を決定したのち、被写体が所望の大きさになるように行うが、撮影シーンが変化する場合には、被写体が変化し、画角の調整も中断すると考えられる。そこで、撮影シーンが変化する場合には、被写体の立体感を保持するための絞りのＦ値の制御を解除する。尚、所定の条件下で再び初期のＦ値が設定され、被写体の立体感を保持するための絞りのＦ値の制御を再開させる。
　本発明の更に他の態様に係る立体撮像装置において、撮像素子は、該撮像素子の露光領域において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、第１群の画素及び第２群の画素から複数の視差画像の読み出しが可能な撮像素子である。これにより、１つの撮像素子で同時に複数の視差画像を取得することができ、装置が大型化することもない。
　また本発明は、焦点距離の調整が可能な単一の撮影光学系と、撮影光学系の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、異なる領域を通過した被写体像をそれぞれ光電変換して視差の異なる複数の視差画像を出力する撮像素子と、撮像素子に入射する光束を制限する絞りと、撮影光学系の焦点距離を調整する前後で、撮影光学系の焦点距離に基づいて絞りのＦ値を制御する絞り制御手段と、を備えた立体撮像装置において、絞り制御手段が、撮影光学系の焦点距離を調整する前後の焦点距離をそれぞれｆ１，ｆ２、撮影光学系の焦点距離を調整する前の絞りのＦ値をＦNo1とすると、撮影光学系の焦点距離の調整後の絞りのＦ値ＦNo2が、上記［数１］式に従って設定可能なＦ値になるように制御する立体撮像方法を提供する。
　本発明によれば、単眼の立体撮像装置において、撮影光学系の焦点距離に基づいて絞りのＦ値を制御することにより、撮影光学系の焦点距離を変化させたときに立体視用の視差画像の立体感を変化させないようにすることができる。これにより、撮影光学系の焦点距離を変えて画角の調整を行う場合に、立体画像の立体感が変化せず、画角の調整時に違和感が生じないようにすることができ、また、撮影光学系の焦点距離にかかわらず、ユーザが希望する立体感を有する視差画像を撮影することができる。
本発明に係る立体撮像装置の実施の形態を示す斜視図 上記立体撮像装置の背面図 立体撮像装置の撮像素子の構成例を示す図 上記撮像素子の要部拡大図 上記立体撮像装置の実施の形態を示すブロック図 被写体深度及び焦点深度の関係を示す図 主として左右の視差画像を連続的に撮影する場合の絞り制御の第１の実施形態を示すフローチャート 撮影レンズの焦点距離と絞りのＦ値と立体感（視差）との関係を示す概念図 主として左右の視差画像を連続的に撮影する場合の絞り制御の第２の実施形態を示すフローチャート 撮像素子の他の構成例を示す図 上記撮像素子で立体画像を撮影する仕組みについて説明する図
　以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。
　＜第１の実施の形態＞
　［立体撮像装置の全体構成］
　図１は本発明に係る立体撮像装置の実施の形態を示す斜視図である。図２は上記立体撮像装置の背面図である。この立体撮像装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
　立体撮像装置１のカメラボディ１０は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、３Ｄ画像表示装置２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。
　尚、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。
　レンズユニット１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。尚、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
　ストロボ２１は、主要被写体に向けてストロボ光を照射するものである。
　シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。立体撮像装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、立体撮像装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「全押し」されることにより、撮影を実行する。
　電源／モードスイッチ２４は、立体撮像装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、立体撮像装置１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体撮像装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
　モードダイヤル２６は、立体撮像装置１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、立体撮像装置１の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。
　３Ｄ画像表示装置２８は、立体画像（左視差画像及び右視差画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が３Ｄ画像表示装置２８に入力された場合には、３Ｄ画像表示装置２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ画像表示装置２８の形態はこれに限らず、左視差画像及び右視差画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視差画像と右視差画像とを個別に見ることができるものでもよい。
　ズームボタン３０は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。立体撮像装置１は、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
　十字ボタン３２は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
　ＭＥＮＵ／ＯＫボタン３４は、３Ｄ画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。
　再生ボタン３６は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ画像表示装置２８に表示させる再生モードに切り替えるためのボタンである。
　ＢＡＣＫボタン３８は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
　［撮影光学系、撮像素子の構成例］
　レンズユニット１２は、主として撮影レンズ１４、絞り１６、位相差イメージセンサである撮像素子１７で構成される。
　撮影レンズ１４は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。絞り１６は、例えば、５枚の絞り羽根からなり、例えば、絞り値（Ｆ値）をＦ１～Ｆ16まで連続的又は段階的に絞り制御される。撮影モード時において、被写体を示す画像光は、撮影レンズ１４、絞り１６を介して撮像素子１７の受光面に結像される。
　図３は撮像素子１７の構成例を示す図である。
　図３の（ａ）部分に示すように、撮像素子１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
　図３の（ｂ）部分に示すように、撮像素子１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、図３の（ｃ）部分に示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
　図４は位相差イメージセンサとして機能する撮像素子１７の要部拡大図である。
　図４の（ａ）部分に示すように撮像素子１７の主画素のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１７Ａが配設され、一方、図４の（ｂ）部分に示すように副画素のフォトダイオードＰＤの前面側には、遮光部材１７Ｂが配設される。マイクロレンズＬ、及び遮光部材１７Ａ、１７Ｂは瞳分割手段としての機能を有し、図４の（ａ）部分に示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、主画素には、撮影レンズ１４の射出瞳を通過する光束の光軸の左側のみが受光される。また、図４の（ｂ）部分に示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、副画素には、撮影レンズ１４の射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１７Ａ、１７Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ主画素、副画素に入射する。
　また、撮影レンズ１４の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている部分は、撮像素子１７上の同じ位置に結像するが、前ピン又は後ピンの部分は、それぞれ撮像素子１７上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像とは、視差が異なる視差画像（左視差画像、右視差画像）として取得することができる。
　［撮像装置の内部構成］
　図５は本発明に係る立体撮像装置１の実施の形態を示すブロック図である。この立体撮像装置１は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等の操作部４８が設けられている。この操作部４８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、３Ｄ画像表示装置２８の表示制御などを行う。
　電源／モードスイッチ２４により立体撮像装置１の電源がＯＮされると、電源部５８から各ブロックへ給電され、立体撮像装置１の駆動が開始される。
　撮影レンズ１４、絞り１６等を通過した光束は撮像素子１７に結像され、撮像素子１７には信号電荷が蓄積される。撮像素子１７に蓄積された信号電荷は、タイミングジェネレータ４５から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１７から読み出された電圧信号は、アナログ信号処理部６０に加えられる。
　アナログ信号処理部６０は、撮像素子１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器６１に加えられる。Ａ／Ｄ変換器６１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ６２に出力する。
　デジタル信号処理部６３は、画像入力コントローラ６２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。ここで、撮像素子１７の奇数ラインの主画素から読み出される主画像データは、左眼用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右眼用画像データとして処理される。
　デジタル信号処理部６３で処理された左眼用画像データ及び右眼用画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。
　ＶＲＡＭ５０から読み出された３Ｄ画像データは、３Ｄ画像信号処理部６４で短冊状の画像断片に加工され、ビデオエンコーダ６６においてエンコーディングされ、カメラ背面に設けられている立体表示用の３Ｄ画像表示装置２８に出力され、これにより３Ｄの被写体像が連続的に３Ｄ画像表示装置２８の表示画面上に表示される。
　操作部４８のシャッタボタン２２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部４７を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左右の視差画像の少なくとも一方の視差画像のうちの所定のフォーカス領域内の視差画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左右の視差画像のうちの所定のフォーカス領域内の主画素、副画素に対応する視差画像の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＣＰＵ４０は、必要に応じてレンズ駆動部４７を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
　また、シャッタボタン２２の半押し時にＡ／Ｄ変換器６１から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。
　ＡＥ／ＡＷＢ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６のＦ値及び撮像素子１７の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部４６を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ４５を介して撮像素子１７での電荷蓄積時間を制御する。
　また、ＣＰＵ４０は、撮影レンズ１４の焦点距離の変化に応じて絞り１６のＦ値を制御するが、そのＦ値の制御に応じて、露出条件が変化しないようにシャッスピード又は撮影感度（ゲイン）を制御する。尚、この絞り１６のＦ値の制御の詳細については後述する。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタン２２の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器６１から出力される主画素及び副画素に対応する左眼用画像（主画像）及び右眼用画像（副画像）の２枚分の画像データが画像入力コントローラ６２からＶＲＡＭ５０に入力され、一時的に記録される。
　ＶＲＡＭ５０に一時的に記録された２枚分の画像データは、デジタル信号処理部６３により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びＶＲＡＭ５０に記録される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部６５に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びＶＲＡＭ５０に記録される。
　ＶＲＡＭ５０に記録された２枚分のＹＣデータ（圧縮データ）から、３Ｄ画像信号処理部６４でマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、記録メディア５４に記録される。
　尚、ＡＦ動作は、シャッタボタン２２の第１段階の押下（半押し）がある場合のみでなく、左右の左視差画像を連続的に撮影する場合にも行われる。左右の視差画像を連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。
　立体撮像装置１は、立体視画像のみでなく、２次元画像の取得も可能である。また、立体撮像装置１は、動画、静止画のみでなく、音声の記録再生が可能である。マイクロフォン５７は送話音声を入力し、スピーカ５６は受話音声を出力し、音声入出力回路５５はマイクロフォンから入力された音声の符号化及び受信した音声の復号化などを行う。
　［立体撮像装置の動作の説明］
　次に、立体撮像装置１の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記録されている。
　撮影が開始されると、ＣＰＵ４０は、撮影レンズ１４、絞り１６を初期位置へ駆動する。撮影レンズ１４を通過した被写体光は、絞り１６を介して撮像素子１７の受光面に結像される。タイミングジェネレータ４５により、撮像素子１７の主画素及び副画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左右の視差画像が順次生成される。生成された左右の視差画像は順次ＶＲＡＭ５０に入力され、３Ｄ画像表示装置２８にリアルタイムに表示される。
　撮影者は、３Ｄ画像表示装置２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。また、ＣＰＵ４０は、操作部４８のズームボタンの操作入力に応じて、レンズ駆動部４７を介して撮影レンズ１４をズーム動作させる（焦点距離を調整する）。
　本発明は、撮影レンズ１４のズーミング（焦点距離の変更）時に３Ｄ画像表示装置２８にリアルタイムに表示される左右の視差画像（立体画像）の立体感が変化しないように絞り１６のＦ値を制御する。
　［立体感を変化させない絞り１６のＦ値の制御］
　次に、立体感を変化させない絞り１６のＦ値の制御の原理について説明する。
　図６は被写体深度及び焦点深度の関係を示す図である。
　図６において、
　Ｏ：物体面
　Ｏ１：前方被写体深度の限界点
　Ｏ２：後方被写体深度の限界点
　Ｉ、Ｉ１、Ｉ２：Ｏ、Ｏ１、Ｏ２に対応する像位置
　ａ：レンズ系の前側主点位置ＨからＯまでの距離
　ｂ：レンズ系の後ろ側主点位置Ｈ’からＩまでの距離
　ｄ１：後方被写体深度
　ｄ２：前方被写体深度
　ｄ１’、ｄ２’：ボケεを想定したときの焦点深度の長さ
　とし、絞りのＦ値をＦ、レンズの焦点距離をｆとすると、後方被写体深度ｄ１、及び前方被写体深度ｄ２は、それぞれ次式で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　上記［数２］式を変形すると、それぞれ次式で表すことができる。
Figure JPOXMLDOC01-appb-M000005
　ここで、撮影レンズ１４の焦点距離を変更する前の焦点距離がｆ1，絞り１６のＦ値がＦNo1のとき、撮影レンズ１４の焦点距離がｆ2に変更した場合に、この焦点距離の変化の前後で、［数３］式に示したボケεが変化しないという条件を満足する、絞り１６のＦ値をＦNo2とすると、次式が成立する。
Figure JPOXMLDOC01-appb-M000006
　ところで、単眼の立体撮像装置１では、前ピン又は後ピンとなるボケ部分は、それぞれ撮像素子１７上の異なる位置に入射する（位相がずれる）ため、このボケが一定になるように絞り１６のＦ値を制御（即ち、上記［数１］式に従って絞り１６のＦ値を制御）することにより、左右の視差画像の位相ずれ（立体感）を変化させないようにすることができる。
　［絞り制御の第１の実施形態］
　図７は主として左右の視差画像を連続的に撮影する場合の絞り制御の第１の実施形態を示すフローチャートである。
　図７において、まず、絞り１６の初期のＦ値を設定し、絞り１６のＦ値を初期Ｆ値にする（ステップＳ１０）。この初期Ｆ値の設定は、例えば、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６のＦ値及び撮像素子１７の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定する。そして、立体撮像装置１の電源がオンされた後、一定時間が経過したときに決定した絞り１６のＦ値を初期Ｆ値として設定する。
　また、絞り１６が初期Ｆ値に設定されたときの撮影レンズ１４の焦点距離ｆ1を取得する（ステップＳ１２）。この焦点距離ｆ1は、撮影レンズ１４のレンズ位置を検出することにより取得し、又はズームボタンの操作に基づいてＣＰＵ４０からレンズ駆動部４７に出力するズーム指令値から取得することができる。
　続いて、ＣＰＵ４０は、撮影レンズ１４の焦点距離が変化したか否かを判別する（ステップＳ１４）。焦点距離が変化した場合（「Yes」の場合）には、ステップＳ１６に遷移し、焦点距離が変化しない場合（「No」の場合）には、ステップＳ２２に遷移する。
　ステップＳ１６では、撮影レンズ１４の変化後の焦点距離ｆ2を取得する。そして、ステップＳ１０で設定した初期Ｆ値（FNo1）,ステップＳ１２で取得した焦点距離ｆ1,及びステップＳ１６で取得した焦点距離ｆ2に基づいて、前述した［数１］式の条件式に従って、焦点距離がｆ1からｆ2に変化しても左右の視差画像の立体感を変化させない絞り１６のＦ値（FNo2）を算出する（ステップＳ１８）。
　ＣＰＵ４０は、ステップＳ１８で算出したＦ値（FNo2）になるように絞り駆動部４６を介して絞り１６を制御する（ステップＳ２０）。
　ステップＳ２２は、撮影を継続するか否かを判別する。例えば、３Ｄ静止画の撮影時には３Ｄ静止画の撮影が行われると、撮影を終了させ、また、３Ｄ動画の撮影時には録画の一時停止／終了が行われると、撮影を終了させる。一方、撮影継続中と判別されると（「Yes」の場合）、ステップＳ１４に戻り、上記ステップＳ１４からステップＳ２２の処理を繰り返す。
　上記のように絞り１６の初期Ｆ値と撮影レンズ１４の焦点距離ｆ1により、左右の視差画像の立体感は決定されるが、その後、３Ｄ画像表示装置２８にリアルタイムに表示される３Ｄスルー画像を見ながら撮影レンズ１４をズーミングさせて撮影画角を調整する（焦点距離を調整する）際に、撮影レンズ１４の焦点距離の変化に応じて絞り１６のＦ値を制御することにより、立体感が変化しないようにすることができる。
　図８は撮影レンズ１４の焦点距離と絞り１６のＦ値と立体感（視差）との関係を示す概念図である。
　図８において、例えば、初期Ｆ値がＦ４及びズーム位置がＺ３の場合に所定の立体感（視差Ｐ５）が得られているとする。その後、ズーム位置がＺ３からテレ方向にＺ４→Ｚ５に変化すると、Ｆ値をＦ４からＦ８→Ｆ１６に変化させ、視差Ｐ５が変化しないようにする。同様に、ズーム位置がＺ３からワイド方向にＺ２→Ｚ１に変化すると、Ｆ値をＦ４からＦ２→Ｆ１に変化させ、視差Ｐ５が変化しないようにする。
　ところで、初期Ｆ値及びズーム位置により左右の視差画像の立体感（視差）が決定されるが、初期Ｆ値及びズーム位置によっては、その後、ズーム位置（焦点距離）が変化すると、絞り１６が取り得る範囲（Ｆ１～Ｆ１６）を越え、立体感を変化させないＦ値を設定することができない場合が生じる。
　例えば、初期Ｆ値Ｆ１６及びズーム位置Ｚ３により所定の立体感（視差Ｐ３）が得られている場合に、その後、ズーム位置をＺ３からテレ方向に変化させると、視差Ｐ３を変化させないためのＦ値を選択することができない。
　この場合の対応としては、絞り１６のＦ値をその限界のＦ値に固定する。この場合、絞り１６の限界を越えてズーム位置（焦点距離）が変化すると、Ｆ値が固定されるため、視差が変化することになる。
　また、絞り１６のＦ値をその限界のＦ値に固定するとともに、撮影レンズ１４の絞り１６の限界を越える方向へのズーム位置（焦点距離）の変化を制限するようにしてもよい。この場合、立体感を変化させないようにすることができるが、撮影レンズ１４のズーム範囲が制限されることになる。
　更に、上記のように撮影レンズ１４をズーム動作させる場合、ズーム動作中も立体感が変化しないように絞り１６のＦ値を連続的に制御することが好ましい。この場合、撮影レンズ１４の焦点距離の変化中の焦点距離ｆ２を、所定の時間間隔（例えば、フレームレートに対応する１／３０［秒］、１／６０［秒］）で連続的に取得し、撮影レンズ１４の焦点距離を調整する前の焦点距離ｆ１と所定の時間間隔で連続的に取得した焦点距離ｆ２とに基づいて、［数１］式から立体感を変化させない絞り１６のＦ値を連続的に算出する。そして、連続的に算出したＦ値になるように絞り１６のＦ値を連続的に制御する。これによれば、３Ｄスルー画像の表示中、あるいは動画記録時等で撮影レンズ１４の焦点距離が変化中も視差画像の立体感を変化させないようにすることができる。
　［絞り制御の第２の実施形態］
　図９は主として左右の視差画像を連続的に撮影する場合の絞り制御の第２の実施形態を示すフローチャートである。尚、図７に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図９に示す第２の実施形態では、ステップＳ２２とステップＳ２４との間に、ステップＳ３０が追加されている点で、図７に示した第１の実施形態と相違する。
　ステップＳ３０では、撮影シーンが変化したか否かを判別する。撮影シーンの変化の判別は、例えば、被写体輝度が一定値（例えば、１ＥＶ）以上変化した場合、被写体距離が一定距離以上変化した場合、被写体の色温度又は被写体を照明する光源種が変化してホワイトバランス補正時のゲイン値が変化した場合等に基づいて行うことができる。また、ＧＰＳ装置（Global Positioning System)や方位センサを搭載したカメラの場合には、現在位置や撮影方向の変化から撮影シーンの変化を判別することができる。
　そして、ステップＳ３０において、撮影シーンが変化したと判別されると（「Yes」の場合）、ステップＳ１４からステップＳ２２のフローラインから外れ、ステップＳ１０に遷移させる。
　即ち、撮影シーンが変化する場合には被写体が変化し、被写体の画角を調整するためのズーム動作が継続して行われているとは考えられないため、ズーム動作中に立体感が変化しないようにする絞り１６のＦ値の制御を解除する。
　これによれば、撮影対象が変化しない場合のみズーム動作中の立体感を変化させないようにすることができる。
　［撮像素子の他の構成例］
　図１０は撮像素子１７’の他の構成例を示す図である。
　撮像素子１７’は、４個のフォトダイオードＡ、Ｂ、Ｃ、Ｄが２次元に並べられ、その４個のフォトダイオードを覆うように１つのマイクロレンズＭＬ’が配設されたものを１個のユニット（４画素１マイクロレンズ）として、このユニットが２次元に配置されている。ユニット内の各フォトダイオードは、それぞれ独立して読み出すことができるようになっている。
　図１０に示すように撮像素子１７’の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインが設けられ、一方、偶数ライン（２、４、６、…）の画素には、ＢＧＢＧ…の画素配列のラインが設けられる。
　図１１は、撮像素子１７’で立体画像を撮影する仕組みについて説明する図である。
　撮像素子１７’が水平方向で撮影された場合（通常の横撮り）には、各ユニットのフォトダイオードＡ及びＣを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＣの合成画像が左の視差画像となる。また、各ユニットのフォトダイオードＢ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＢ及びＤの合成画像が右の視差画像となる。
　撮像素子１７’が垂直方向で撮影された場合（立体撮像装置１を９０度回転させて撮影するいわゆる縦撮り）には、各ユニットのフォトダイオードＡ及びＢを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＢの合成画像が左の視差画像となる。また、各ユニットのフォトダイオードＣ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＣ及びＤの合成画像が右の視差画像となる。
　［その他］
　この実施形態では、立体撮像装置１の電源がオンされた後、一定時間が経過したときにＡＥ制御で決定した絞り１６のＦ値を初期Ｆ値として設定するようにしたが、これに限らず、上記のように設定した初期Ｆ値を、撮影レンズ１４の焦点距離が変更されるまで、最新の被写体の明るさ（撮影Ｅｖ値）に基づくＡＥ制御で決定したＦ値で更新するようにしてもよい。即ち、撮影レンズ１４の焦点距離が最初に変化したときの撮影Ｅｖ値に基づいて算出された絞り１６のＦ値を初期Ｆ値としてもよい。
　また、図９に示したように撮影シーンが変化した場合には、その撮影シーンが変化した後に再度、初期Ｆ値を設定するようにしてもよい。
　更に、３Ｄ動画を撮影する動画撮影モードが設定された場合において、録画開始ボタンが押されたときの撮影Ｅｖ値に基づいて絞り１６のＦ値を算出し、この算出したＦ値を初期Ｆ値とすることができる。
　更にまた、ユーザが立体感の大きさ（例えば、大／中／小）を操作部４８により指定できるようにし、その指定された立体感の大きさに基づいて初期Ｆ値を設定するようにしてもよい。この場合、指定された立体感の大きさと、そのときの撮影レンズの焦点距離及び被写体距離に基づいて絞りの初期Ｆ値を設定することが好ましい。
　また、この実施形態では、［数１］式により算出したＦ値ＦNo2になるように絞りのＦ値を制御するようにしたが、離散的に設定可能なＦ値のうち、算出したＦ値ＦNo2に最も近いＦ値になるように制御する場合も含む。これによれば、Ｆ値を連続的に制御できない絞り（設定可能なＦ値が有限の段数の絞り）であっても本発明を適用することができる。
　また、複数の視差画像を同時に取得することができる撮像素子は、この実施形態のものに限らず、種々ものを適用することができる。
　更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１…立体撮像装置、１２…レンズユニット、１４…撮影レンズ、１６：絞り、１７、１７’…撮像素子、１７Ａ、１７Ｂ…遮光部材、２８…３Ｄ画像表示装置、４０…ＣＰＵ、４６…絞り駆動部、４７…レンズ駆動部、４８…操作部、６４…３Ｄ画像信号処理部

Claims (16)

  1. 　焦点距離の調整が可能な単一の撮影光学系と、
    　前記撮影光学系の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記異なる領域を通過した被写体像をそれぞれ光電変換して視差の異なる複数の視差画像を出力する撮像素子と、
    　前記撮像素子に入射する光束を制限する絞りと、
    　前記撮影光学系の焦点距離を調整する前後で、前記撮影光学系の焦点距離に基づいて前記絞りのＦ値を制御する絞り制御手段と、を備え、
    　前記絞り制御手段は、
    　前記撮影光学系の焦点距離を調整する前後の焦点距離をそれぞれｆ１，ｆ２、前記撮影光学系の焦点距離を調整する前の前記絞りのＦ値をＦNo1とすると、前記撮影光学系の焦点距離の調整後の前記絞りのＦ値ＦNo2が、次式、
    Figure JPOXMLDOC01-appb-M000001
     に従って設定可能なＦ値になるように制御する立体撮像装置。
  2. 　前記撮影光学系の焦点距離を検出する焦点距離検出手段、又は前記撮影光学系の焦点距離を手動操作に応じて設定する焦点距離設定手段を有し、
    　前記絞り制御手段は、前記焦点距離検出手段により検出された焦点距離、又は前記焦点距離設定手段により設定された焦点距離を取得する請求項１に記載の立体撮像装置。
  3. 　前記絞り制御手段は、前記撮影光学系の焦点距離の調整中の焦点距離を含む焦点距離ｆ２を所定の時間間隔で連続的に取得し、前記撮影光学系の焦点距離を調整する前の焦点距離ｆ１と前記所定の時間間隔で連続的に取得した焦点距離ｆ２とに基づいて前記絞りのＦ値を連続的に制御する請求項１又は２に記載の立体撮像装置。
  4. 　立体表示手段と、
    　前記撮像素子から出力される複数の視差画像に基づいて前記立体表示手段に立体画像を表示させる表示制御手段と、
    　を更に備えた請求項１から３のいずれか１項に記載の立体撮像装置。
  5. 　被写体の明るさを検出する明るさ検出手段と、
    　前記明るさ検出手段により検出された被写体の明るさに基づいて露出条件を決定する露出条件決定手段と、を備え、
    　前記露出条件決定手段は、前記絞り制御手段により制御される前記絞りのＦ値に基づいて前記絞り以外の露出条件を決定する請求項１から４のいずれか１項に記載の立体撮像装置。
  6. 　被写体の明るさを検出する明るさ検出手段と、
    　前記明るさ検出手段により検出された被写体の明るさに基づいて前記絞りの初期のＦ値を設定する初期Ｆ値設定手段と、を備え、
    　前記撮影光学系の焦点距離を調整する前の絞りのＦ値は、前記初期Ｆ値設定手段により設定されたＦ値である請求項１から５のいずれか１項に記載の立体撮像装置。
  7. 　前記初期Ｆ値設定手段は、電源がオンされた後、一定時間が経過したときに前記明るさ検出手段により検出された被写体の明るさに基づいて前記絞りの初期のＦ値を設定する請求項６に記載の立体撮像装置。
  8. 　前記初期Ｆ値設定手段は、電源がオンされた後、前記撮影光学系の焦点距離が最初に変化したときに前記明るさ検出手段により検出された被写体の明るさに基づいて前記絞りの初期のＦ値を設定する請求項６に記載の立体撮像装置。
  9. 　前記初期Ｆ値設定手段は、動画を撮影する動画撮影モードで録画開始が指示されたときに前記明るさ検出手段により検出された被写体の明るさに基づいて前記絞りの初期のＦ値を設定する請求項６に記載の立体撮像装置。
  10. 　前記撮像素子から出力される複数の視差画像の立体感の大きさを指定する立体感指定手段と、
    　前記立体感指定手段により指定された立体感に基づいて前記絞りの初期のＦ値を設定する設定する初期Ｆ値設定手段と、を備え、
    　前記撮影光学系の焦点距離を調整する前の前記絞りのＦ値は、前記初期Ｆ値設定手段により設定されたＦ値である請求項１から５のいずれか１項に記載の立体撮像装置。
  11. 　被写体距離を測定する測距手段と、
    　前記撮影光学系の焦点距離を検出する焦点距離検出手段と、
    　を備え、
    　前記初期Ｆ値設定手段は、前記立体感指定手段により指定された立体感、前記焦点距離検出手段により検出された焦点距離及び前記測距手段により測定された被写体距離に基づいて前記絞りの初期のＦ値を設定する請求項１０に記載の立体撮像装置。
  12. 　前記絞り制御手段は、前記撮影光学系の焦点距離に基づいて前記絞りのＦ値を制御する際に、前記絞りの限界のＦ値を超える場合には、その限界のＦ値に固定する請求項１から１１のいずれか１項に記載の立体撮像装置。
  13. 　前記絞り制御手段は、前記撮影光学系の焦点距離に基づいて前記絞りのＦ値を制御する際に、前記絞りの限界のＦ値を超える場合には、その限界のＦ値に固定するとともに、前記絞りの限界のＦ値を超える方向への前記撮影光学系の焦点距離の変化を制限する請求項１から１１のいずれか１項に記載の立体撮像装置。
  14. 　撮影シーンの変化を検出する撮影シーン検出手段と、
    　前記撮影シーン検出手段により撮影シーンが変化したことが検出されると、前記絞り制御手段による前記撮影光学系の焦点距離に基づく前記絞りのＦ値の制御を解除する解除手段と、
    　を更に備えた請求項１から１３のいずれか１項に記載の立体撮像装置。
  15. 　前記撮像素子は、該撮像素子の露光領域において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記複数の視差画像の読み出しが可能な撮像素子である請求項１から１４のいずれか１項に記載の立体撮像装置。
  16. 　焦点距離の調整が可能な単一の撮影光学系と、
    　前記撮影光学系の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記異なる領域を通過した被写体像をそれぞれ光電変換して視差の異なる複数の視差画像を出力する撮像素子と、
    　前記撮像素子に入射する光束を制限する絞りと、
    　前記撮影光学系の焦点距離を調整する前後で、前記撮影光学系の焦点距離に基づいて前記絞りのＦ値を制御する絞り制御手段と、を備えた立体撮像装置において、
    　前記絞り制御手段が、
    　前記撮影光学系の焦点距離を調整する前後の焦点距離をそれぞれｆ１，ｆ２、前記撮影光学系の焦点距離を調整する前の前記絞りのＦ値をＦNo1とすると、前記撮影光学系の焦点距離の調整後の前記絞りのＦ値ＦNo2が、次式、
    Figure JPOXMLDOC01-appb-M000002
     に従って設定可能なＦ値になるように制御する立体撮像方法。
PCT/JP2012/067548 2011-09-09 2012-07-10 立体撮像装置および方法 WO2013035427A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12830075.3A EP2755086B1 (en) 2011-09-09 2012-07-10 Stereoscopic image capture device and method
CN201280044016.1A CN103782234B (zh) 2011-09-09 2012-07-10 立体图像捕捉设备和方法
JP2013532488A JP5611469B2 (ja) 2011-09-09 2012-07-10 立体撮像装置および方法
US14/193,207 US9077979B2 (en) 2011-09-09 2014-02-28 Stereoscopic image capture device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011197496 2011-09-09
JP2011-197496 2011-09-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/193,207 Continuation US9077979B2 (en) 2011-09-09 2014-02-28 Stereoscopic image capture device and method

Publications (1)

Publication Number Publication Date
WO2013035427A1 true WO2013035427A1 (ja) 2013-03-14

Family

ID=47831879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/067548 WO2013035427A1 (ja) 2011-09-09 2012-07-10 立体撮像装置および方法

Country Status (5)

Country Link
US (1) US9077979B2 (ja)
EP (1) EP2755086B1 (ja)
JP (1) JP5611469B2 (ja)
CN (1) CN103782234B (ja)
WO (1) WO2013035427A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013038598A1 (ja) * 2011-09-14 2013-03-21 株式会社ニコン 撮像素子、撮像装置および画像処理装置
CN105488845B (zh) * 2014-09-17 2018-09-25 宏碁股份有限公司 产生三维图像的方法及其电子装置
CN110139042B (zh) 2019-04-18 2020-08-04 浙江大华技术股份有限公司 光圈调整方法及装置、存储介质及监控装置
CN114647058B (zh) * 2022-05-18 2022-09-06 合肥金星智控科技股份有限公司 焦点调整方法、焦点调整装置、libs检测系统和存储介质
CN116320746B (zh) * 2023-05-16 2023-08-01 武汉昊一源科技有限公司 Tof对焦装置、对焦方法及拍摄设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009168995A (ja) 2008-01-15 2009-07-30 Nikon Corp 測距装置および撮像装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2011242182A (ja) 2010-05-17 2011-12-01 Mitsubishi Electric Corp パッシブレーダシステムおよびパッシブレーダ方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2854885A (en) * 1955-02-28 1958-10-07 Camera Vision Productions Inc Composite electronic and film camera
US4124291A (en) * 1976-12-03 1978-11-07 Dimensional Development Corp. Control of depth of field in three dimensional photography
US5311240A (en) * 1992-11-03 1994-05-10 Eastman Kodak Company Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes
FR2735936B1 (fr) * 1995-06-22 1997-08-29 Allio Pierre Procede d'acquisition d'images autostereoscopiques simulees
JP3753201B2 (ja) * 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
JP3802630B2 (ja) * 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
DE10027167B4 (de) * 1999-05-31 2007-03-22 Pentax Corp. Mikroskop mit einem Beleuchtungssystem
JP2001142166A (ja) * 1999-09-15 2001-05-25 Sharp Corp ３ｄカメラ
JP4871942B2 (ja) * 2000-06-05 2012-02-08 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
JP4305598B2 (ja) 2000-06-05 2009-07-29 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
US6864911B1 (en) * 2000-10-26 2005-03-08 Hewlett-Packard Development Company, L.P. Linkable digital cameras for an image capture system
JP2006078638A (ja) * 2004-09-08 2006-03-23 Canon Inc 光学機器
JP4588439B2 (ja) * 2004-12-27 2010-12-01 富士フイルム株式会社 立体視画像撮影装置および方法
JP4857962B2 (ja) * 2006-07-05 2012-01-18 株式会社ニコン 撮像装置
JP2008092047A (ja) * 2006-09-29 2008-04-17 Nikon Corp 電子カメラ
JP4692770B2 (ja) * 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
JP4973273B2 (ja) 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
JP2008299184A (ja) * 2007-06-01 2008-12-11 Nikon Corp 撮像装置および焦点検出装置
JP4625515B2 (ja) * 2008-09-24 2011-02-02 富士フイルム株式会社 ３次元撮影装置および方法並びにプログラム
JP5237077B2 (ja) * 2008-12-16 2013-07-17 キヤノン株式会社 焦点検出装置及びその制御方法及びプログラム
KR20100080704A (ko) * 2009-01-02 2010-07-12 삼성전자주식회사 영상 데이터 획득 방법 및 장치
JP5216640B2 (ja) * 2009-03-11 2013-06-19 富士フイルム株式会社 撮像装置および方法
US7899321B2 (en) * 2009-03-23 2011-03-01 James Cameron Stereo camera with automatic control of interocular distance
JP5425554B2 (ja) * 2009-07-27 2014-02-26 富士フイルム株式会社 立体撮像装置及び立体撮像方法
US20110050857A1 (en) * 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
JP5446949B2 (ja) * 2010-02-03 2014-03-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5269252B2 (ja) * 2010-06-29 2013-08-21 富士フイルム株式会社 単眼立体撮像装置
US20120007954A1 (en) * 2010-07-08 2012-01-12 Texas Instruments Incorporated Method and apparatus for a disparity-based improvement of stereo camera calibration
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US8571350B2 (en) * 2010-08-26 2013-10-29 Sony Corporation Image processing system with image alignment mechanism and method of operation thereof
JP2012113281A (ja) * 2010-11-04 2012-06-14 Panasonic Corp 立体撮像光学系、撮像装置及びカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009168995A (ja) 2008-01-15 2009-07-30 Nikon Corp 測距装置および撮像装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2011242182A (ja) 2010-05-17 2011-12-01 Mitsubishi Electric Corp パッシブレーダシステムおよびパッシブレーダ方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2755086A4

Also Published As

Publication number Publication date
JP5611469B2 (ja) 2014-10-22
US9077979B2 (en) 2015-07-07
EP2755086A1 (en) 2014-07-16
EP2755086B1 (en) 2016-11-09
CN103782234A (zh) 2014-05-07
EP2755086A4 (en) 2015-06-03
JPWO2013035427A1 (ja) 2015-03-23
CN103782234B (zh) 2015-11-25
US20140176682A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
JP5595499B2 (ja) 単眼立体撮像装置
US8885026B2 (en) Imaging device and imaging method
JP5722975B2 (ja) 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム
JP5474234B2 (ja) 単眼立体撮像装置及びその制御方法
JP5681329B2 (ja) 撮像装置及び画像表示方法
JP5469258B2 (ja) 撮像装置および撮像方法
JP2011259168A (ja) 立体パノラマ画像撮影装置
JP2011022501A (ja) 複眼撮像装置
JP5611469B2 (ja) 立体撮像装置および方法
EP2757415B1 (en) 3d imaging device
US20110025824A1 (en) Multiple eye photography method and apparatus, and program
JP2010206643A (ja) 撮像装置、方法およびプログラム
JP2010154310A (ja) 複眼カメラ及び撮影方法
JP5457240B2 (ja) 立体撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
JP5351298B2 (ja) 複眼撮像装置
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12830075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013532488

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012830075

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012830075

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE