WO2013047220A1 - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
WO2013047220A1
WO2013047220A1 PCT/JP2012/073453 JP2012073453W WO2013047220A1 WO 2013047220 A1 WO2013047220 A1 WO 2013047220A1 JP 2012073453 W JP2012073453 W JP 2012073453W WO 2013047220 A1 WO2013047220 A1 WO 2013047220A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
subject
phase difference
imaging
lens
Prior art date
Application number
PCT/JP2012/073453
Other languages
English (en)
French (fr)
Inventor
佳津男 河村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2013047220A1 publication Critical patent/WO2013047220A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming

Definitions

  • the present invention relates to a digital camera that picks up a parallax image for stereoscopic viewing by performing focusing by a phase difference method.
  • Digital cameras that have a solid-state image sensor such as a CCD image sensor or a CMOS image sensor and capture a digital image are widely used.
  • Digital cameras have an autofocus (hereinafter simply referred to as AF) function that automatically adjusts the focus of an imaging optical system.
  • AF autofocus
  • a digital camera that automatically adjusts the focus of an imaging optical system by a phase difference method using some pixels of a solid-state imaging device for AF (see Patent Document 1).
  • a solid-state imaging device including a plurality of sets of two types of pixels (hereinafter, referred to as a first phase difference pixel and a second phase difference pixel) having a thickness of 2 is used (see Patent Document 2).
  • the first phase difference pixel receives light incident through the first eccentric opening that is decentered in the first direction with respect to the center position of the light receiving surface of the PD, and the second phase difference pixel is the center position of the light receiving surface of the PD.
  • the light incident through the second eccentric opening decentered in the second direction opposite to the first direction is received.
  • the first and second eccentric openings are formed in a light shielding film covering the semiconductor substrate on which the PD is formed.
  • the first phase difference pixel becomes more sensitive to incident light from the right direction, and the second position.
  • the phase difference pixel has high sensitivity to incident light from the left direction.
  • the distance between the image constituted by the first phase difference pixels and the image constituted by the second phase difference pixels varies depending on the in-focus state of the imaging optical system.
  • the shift amount between the two images corresponds to the focus shift amount of the imaging optical system, and the shift amount is zero when the imaging optical system is in focus.
  • the two images are deviated from each other according to the defocus amount, and the direction of the deviation is determined according to the direction of defocus (front pin / rear pin). .
  • the focus adjustment amount of the imaging optical system can be obtained based on the focal length of the imaging optical system at the time and the subject distance in the focused state.
  • Patent Document 3 a solid-state imaging device in which only the first phase difference pixel and the second phase difference pixel described above are arranged on the imaging surface is also known (Patent Document 3). From this solid-state image sensor, an R viewpoint image (first viewpoint image) constituted by an output signal output from each first phase difference pixel and an output signal outputted from each second phase difference pixel are constituted. A two-viewpoint parallax image composed of the L-viewpoint image (second viewpoint image) can be acquired. In general, in order to acquire a parallax image, it is necessary to prepare two sets of an imaging optical system and a solid-state imaging device, and arrange them in parallel to perform imaging (see Patent Documents 4 to 6).
  • an area for distance measurement is set in a specific area (for example, a central area) of an imaging surface of a solid-state imaging device, and from the first and second phase difference pixels included in the area
  • phase difference AF is performed based on the output signal. For this reason, it is possible to obtain R and L viewpoint images in which the subject in the central area is in focus, but it is difficult to focus in other areas.
  • the R and L viewpoint images focused by the phase difference AF parallax does not occur in the subject that is in focus, and parallax occurs in the subject that is not in focus.
  • L viewpoint image is stereoscopically viewed on a 3D monitor of a digital camera, for example, the focused area in the R, L viewpoint image appears to be located on the monitor screen in the depth direction, and conversely, The area that does not fit is projected from the monitor screen or is retracted to the back side of the monitor screen and observed.
  • the live view image is displayed on the 3D monitor.
  • the subject A is farther from the digital camera than the subject B.
  • FIG. 19 when the imaging optical system of the digital camera 100 is focused on the subject B, the subject B appears to be positioned on the monitor screen 105, but the subject A is larger than the monitor screen 105. Looks like it ’s retracted to the back.
  • Reference numeral Fs denotes a focusing surface on which the imaging optical system is focused
  • reference numerals La and Lb denote distances from the digital camera 100 to the subject A and the subject B, respectively.
  • the subject A may be in focus due to phase difference AF. is there. Then, as shown in FIG. 20, the subject A appears to be positioned on the monitor screen 105, and the subject B appears to protrude forward from the monitor screen 105. Therefore, although the distances La and Lb to the actual subjects A and B are different, the sense of distance to the subject B in the first state where the subject B is in focus and the subject in the second state where the subject A is in focus It becomes easy to recognize that the sense of distance to A is the same.
  • An object of the present invention is to provide a digital camera that can suppress unnatural fluctuations in distance that occur when a focused subject is switched when a live view image is captured or a moving image is captured. .
  • the digital camera of the present invention includes an imaging optical system, an imaging device, a zoom drive unit, a focus drive unit, a first determination unit, and a zoom control unit.
  • the imaging optical system includes a variable power lens and a focus lens.
  • the imaging apparatus captures a plurality of viewpoint images with parallax by imaging subject light that has passed through different regions of the imaging optical system that is divided into pupils.
  • the zoom drive unit moves the zoom lens to change the image magnification of the imaging optical system, and the focus drive unit moves the focus lens to focus the imaging optical system.
  • the first determination unit determines whether the focusing of the imaging optical system is performed in the direction of the infinity position side or the closest position side while the imaging apparatus performs imaging a plurality of times.
  • the zoom control unit controls the operation of the zoom drive unit according to the determination result in the first determination unit, and sets the focal length of the imaging optical system when the focusing direction of the imaging optical system is the infinity position side.
  • the imaging magnification is increased by increasing the length, and the focal length is shortened and the imaging magnification is decreased when the distance is close.
  • the imaging device uses a solid-state imaging device having an imaging surface on which a plurality of types of pixels that photoelectrically convert subject light that has been divided into pupils through different regions of the imaging optical system are arranged.
  • the plurality of types of pixels in the imaging surface include a first pixel and a second pixel that photoelectrically convert subject light that has passed through a region that is symmetrical with respect to the optical axis of the imaging optical system.
  • the first focus detection unit moves the focus lens for focusing the imaging optical system by the phase difference detection method. And the amount of movement.
  • the focus control unit is activated and the focus drive unit moves the focus lens to the focus position.
  • the first output signal from the first pixel and the second output from the second pixel are moved while the focus lens is moved to the infinity position side or the closest position side by the focus driving unit.
  • a second focus detection unit that positions the focus lens at a focus position by a contrast detection method based on at least one of the two output signals may be used.
  • a phase difference detection unit When the imaging optical system is focused by the phase difference method, a phase difference detection unit is provided.
  • the phase difference detection unit evaluates the first output signals output from the plurality of first pixels and the second output signals output from the plurality of second pixels, and determines the first and second output signals.
  • the first output A shift amount of a signal pattern corresponding to the image of the second subject between the signal and the second output signal is detected as a phase difference.
  • the phase difference obtained in this way is used when the imaging magnification of the imaging optical system is changed by the zoom control unit.
  • the first and second output signals are obtained during a specific horizontal scanning period of the solid-state imaging device. Further, it is preferable that the zoom control unit increases the amount of change in imaging magnification as the phase difference detected by the phase difference detection unit increases.
  • the imaging optical system It is desirable to return the imaging magnification of the original to the original imaging magnification before the change.
  • the present invention can be applied not only to a digital camera having an optical zoom function but also to an electronic zoom digital camera that obtains a zoom function by processing image data.
  • the imaging optical system is focused while the imaging apparatus performs imaging a plurality of times, and the first determination unit determines whether the focusing direction is the infinity position side or the closest position side.
  • the zoom control unit is operated according to the determination result of the first determination means, and when it is determined that the focusing direction is the infinity position side, the parallax image is enlarged by electronic zoom, and conversely the closest position side When it is determined that the parallax image is determined, the parallax image may be reduced.
  • a digital camera with an electronic zoom function does not require an optical scaling function, and the zoom control unit electronically zooms the image data of the parallax image obtained from the imaging device and enlarges or reduces the parallax image as a whole. It differs from an optical zoom digital camera in that it is converted into a digital camera.
  • the focus driving unit that moves the focus lens to focus
  • the first determination unit that determines the focusing direction
  • the first and second focus detection units described above and the focusing unit.
  • the configuration of the focus control unit or the like can be used in common.
  • the second determination unit that determines that the focus lens has been stopped for a certain period of time, and the process of returning the image magnification of the parallax image to the magnification before the change in accordance with the determination result of the second determination unit is exactly the same. It is possible to use.
  • the imaging magnification is increased or decreased, and the size of the subject that is out of focus is adjusted to an appropriate size.
  • the parallax of the other subject that is not the focus target is not unnaturally emphasized with respect to the one subject that is the focus target, and the other subject moves greatly back and forth.
  • the illusion is also suppressed, and a stereoscopic image can be displayed without a sense of incongruity.
  • FIG. 3 is a schematic plan view of a CMOS type image sensor.
  • FIG. 3 is a sectional view taken along line III-III in FIG. 2. It is explanatory drawing for demonstrating the specific horizontal scanning period of an image sensor. It is explanatory drawing for demonstrating the output waveform of the output signal of the 1st, 2nd pixel when the to-be-photographed object B is focused. It is explanatory drawing for demonstrating the output waveform of the output signal of the 1st, 2nd pixel when the to-be-photographed object A is focused. It is a functional block diagram of CPU.
  • FIG. 6 is an explanatory diagram showing imaging magnifications of subjects A and B when a focused subject is subject B.
  • FIG. 6 is an explanatory diagram illustrating imaging magnifications of subjects A and B when a focused subject moves from subject B to subject A. It is a block diagram which shows the electric constitution of the digital camera of 2nd Embodiment. It is a flowchart which shows the flow of the automatic zoom control process of 2nd Embodiment. It is a block diagram which shows the electric constitution of the digital camera of 3rd Embodiment. It is a functional block diagram of CPU of 3rd Embodiment. It is a block diagram which shows the electric constitution of the digital camera of 4th Embodiment. It is a block diagram which shows the electric constitution of the digital camera of other embodiment which performs the focus detection of a contrast detection system.
  • the CPU 11 of the digital camera 10 sequentially executes various programs and data read from a memory (not shown) based on a control signal from the operation unit 12 to comprehensively control each unit of the digital camera 10. To do.
  • the digital camera 10 acquires 2-viewpoint parallax image data including R-viewpoint image data captured from the right viewpoint and L-viewpoint image data captured from the left viewpoint.
  • the digital camera 10 has a plurality of operation modes including a still image capturing mode for capturing still images, a moving image capturing mode for capturing moving images, and a playback mode for reproducing and displaying still images and moving images obtained by capturing images. is doing.
  • the operation mode is switched by the mode switch 12a of the operation unit 12.
  • the operation unit 12 is provided with a shutter button 12b, a zoom switch 12c for performing a zoom operation, and the like.
  • the imaging optical system 13 uses a zoom lens, and includes a variable power lens 14 and a focus lens 15.
  • a mechanical shutter 16 is also incorporated in the imaging optical system 13.
  • the zoom lens 14 is moved on the optical axis O1 between the wide end (wide angle end) and the tele end (telephoto end) by the zoom drive unit 17 when a zoom operation is performed.
  • the focus lens 15 is driven by the focus driving unit 18 at the time of focusing, and moves between an infinity position that focuses on infinity on the optical axis O1 and a close position that focuses on the closest imaging distance.
  • the illustration of the variable power lens 14 and the focus lens 15 included in the imaging optical system 13 is a schematic diagram for explaining the function, and does not specifically represent the shape or the number of lenses.
  • the mechanical shutter 16 has movable shutter blades, and opens / blocks the optical path from the lenses 14 and 15 to the image sensor 20.
  • the mechanical shutter 16 includes a diaphragm that controls the amount of subject light incident on the image sensor 20.
  • the mechanical shutter 16, the zoom drive unit 17, and the focus drive unit 18 are controlled by the CPU 11 via the lens driver 21.
  • a neutral density (ND) filter 19a attenuates subject light incident on the image sensor 20.
  • the LP filter 19b blocks subject light having a spatial frequency higher than a predetermined value.
  • the image sensor 20 converts subject light from the zoom lens into an electrical signal and outputs it.
  • the CMOS driver 23 controls driving of the image sensor 20 under the control of the CPU 11.
  • the image processing circuit 22 includes a parallax image generation unit 23.
  • the parallax image generation unit 23 performs various processing such as gradation conversion, white balance correction, and ⁇ correction processing on the signal input from the image sensor 20 to generate R and L viewpoint image data.
  • the R and L viewpoint image data is stored in the VRAM 24.
  • the “parallax image” here refers to a collection of a plurality of viewpoint images when the subject is viewed from different viewpoints.
  • the image processing circuit 22 also generates R and L focus detection image data for focus detection of the imaging optical system 13 by the phase difference method.
  • the focus detection unit (first focus detection means) 26 obtains a focus adjustment amount for matching the focus of the imaging optical system 13 to the subject based on the L and R focus detection image data.
  • the compression / decompression processing circuit 29 performs compression processing on the R and L viewpoint image data processed by the image processing circuit 22 when an imaging instruction is given, and generates an image file in a predetermined file format.
  • a still image file composed of R and L viewpoint image data for one frame is generated.
  • a moving image file including R and L viewpoint image data hereinafter referred to as R and L frame image data for a plurality of frames is generated.
  • the compression / decompression processing circuit 29 performs decompression processing on the image file obtained from the memory card 31 via the media I / F 30.
  • the media I / F 30 performs recording and reading of an image file with respect to the memory card 31.
  • the monitor 32 displays a live view image (also referred to as a through image), a reproduced image, and the like.
  • a live view image also referred to as a through image
  • various monitors capable of observing a stereoscopic image based on R viewpoint image data and L viewpoint image data are used.
  • various known methods such as a lenticular method, a parallax barrier method, a parallax barrier method, an anaglyph method, a frame sequential method, and a light direction method may be used as a stereoscopic image display method.
  • the display circuit 33 performs predetermined signal processing on the R and L viewpoint image data stored in the VRAM 24 or the R and L viewpoint image data expanded by the compression / decompression processing circuit 29 to generate a signal for image display. This is output to the monitor 32 at a fixed timing. A live view image is displayed on the monitor 32 so as to be stereoscopically viewed in the still image and moving image capturing mode. The monitor 32 can also display the R and L viewpoint images read from the memory card 31 in the playback mode so as to be stereoscopically viewable.
  • the image sensor 20 has an imaging surface 20a on which subject light divided through pupils through different regions of the zoom lens is imaged. All the pixels on the imaging surface 20 a are configured by a set of a first phase difference pixel (hereinafter simply referred to as a first pixel) 35 and a second phase difference pixel (hereinafter simply referred to as a second pixel) 36. On the imaging surface 20a, a plurality of pixel lines 37 in which the first pixels 35 and the second pixels 36 are alternately arranged in the horizontal direction in the figure are arranged in the vertical direction in the figure.
  • the first pixel 35 has high sensitivity to incident light incident from the upper right side with respect to the imaging surface 20a
  • the second pixel 36 has sensitivity to incident light incident from the upper left side with respect to the imaging surface 20a. Becomes higher.
  • a pixel circuit 38 is provided for the first and second pixels 35 and 36.
  • the pixel circuit 38 amplifies the signal charges stored in the PDs of the first and second pixels 35 and 36 and outputs the amplified signal charges as signal voltages.
  • the pixel circuit 38 includes, for example, a read transistor, an amplifier transistor, a switch transistor, a reset transistor, and the like.
  • the read transistor reads signal charges accumulated in the PD / photoelectric conversion film.
  • the amplifier transistor amplifies the signal charge read by the read transistor and outputs it as a signal voltage.
  • the switch transistor controls reading of the signal voltage by the signal line.
  • the reset transistor clears signal charges accumulated in the PD / photoelectric conversion film.
  • the image sensor 20 also has a plurality of drive lines 39 for driving the pixel circuits 38 of the first and second pixels 35 and 36, and a signal voltage for reading the signal voltages of the first and second pixels 35 and 36.
  • a plurality of signal lines 40 are formed.
  • the drive line 39 extends long in the vertical direction in the drawing, and is provided for each vertical column of the first and second pixels 35 and 36.
  • a CMOS driver 23 is connected to each drive line 39.
  • the CMOS driver 23 drives each of the first and second pixels 35 and 36 via each drive line 39.
  • the signal lines 40 extend long in the horizontal direction in the figure, and one signal line 40 is provided for each pixel line 37.
  • the signal voltage of each of the first and second pixels 35 and 36 is read out to the signal line 40 for each pixel line 37.
  • the signal voltage read out to each signal line 40 is output to the image processing circuit 22 as an output signal through an output circuit and an amplifier (not shown).
  • N-type PDs 43 constituting the first and second pixels 35 and 36 are formed on the surface layer of a semiconductor substrate 42 (Psub) made of P-type silicon.
  • the semiconductor substrate 42 is provided with a pixel circuit 38, a drive line 39, a signal line 40, and the like.
  • a light-transmissive insulating film 44 made of, for example, silicon oxide (SiO 2 ) is provided on the semiconductor substrate 42 .
  • a light shielding film 45 made of, for example, tungsten is provided on the insulating film 44.
  • the light shielding film 45 includes a first eccentric opening 45 a formed on the PD 43 of the first pixel 35 and a second eccentric opening 45 b formed on the PD 43 of the second pixel 36.
  • the first eccentric opening 45a is formed at a position shifted in the left direction in the figure with respect to the center of the PD 43 of the first pixel 35.
  • the substantially right half area (hereinafter simply referred to as the right area) of the PD 43 of the first pixel 35 is covered with the light shielding film 45, and conversely, the substantially left half area (hereinafter simply referred to as the left area) is exposed.
  • the second eccentric opening 45b is formed at a position shifted in the right direction in the drawing with respect to the center of the PD 43 of the second pixel 36.
  • the left region of the PD 43 of the second pixel 36 is covered with the light shielding film 45, and conversely, the right region is exposed.
  • a light-transmitting flattening layer 47 having a flat surface is provided on the light shielding film 45.
  • a color filter 48 is provided for each of the first and second pixels 35 and 36. In the first and second pixels 35 and 36 of the same set, the color of the color filter 48 is the same color.
  • microlenses 49 are provided above the first and second pixels 35 and 36, respectively. Note that the symbol O2 in the figure is the optical axis of the microlens 49.
  • the incident light 50L incident on the microlens 49 on the first pixel 35 from the left direction in the drawing is shielded by the light shielding film 45. For this reason, the incident light 50 ⁇ / b> L does not enter the right region of the PD 43 of the first pixel 35. Conversely, incident light 50R that has entered the microlens 49 from the right in the drawing enters the left region of the PD 43 of the first pixel 35 through the first eccentric opening 45a by the microlens 49. Thereby, the sensitivity of the first pixel 35 is increased with respect to the incident light 50R from the right direction in the drawing.
  • Incident light 50R incident on the microlens 49 on the second pixel 36 from the right in the drawing is shielded by the light shielding film 45. For this reason, the incident light 50 ⁇ / b> R does not enter the left region of the PD 43 of the second pixel 35. Conversely, incident light 50L incident on the microlens 49 from the left direction in the drawing is incident on the right region of the PD 43 of the second pixel 36 via the second eccentric opening 45b by the microlens 49. Thereby, the sensitivity of the second pixel 36 is increased with respect to the incident light 50L from the left direction.
  • the image processing circuit 22 further includes a focus detection image generation unit 52, a signal output detection unit 53, and a phase difference detection unit 54.
  • the focus detection image generating unit 52 operates in the still image capturing mode and the moving image capturing mode.
  • the focus detection image generation unit 52 for example, R focus detection used for the phase difference AF based on the output signals from the first and second pixels 35 and 36 in the central region set as the distance measurement area on the imaging surface 20a.
  • Image data and L focus detection image data are generated.
  • the R and L focus detection image data is sent to the focus detection unit 26.
  • the signal output detector 53 individually detects output signals from the first and second pixels 35 and 36 arranged on a specific horizontal scanning line Ht passing through the distance measuring area 20b.
  • the specific horizontal scanning line Ht corresponds to the pixel row 37 composed of the first and second pixels arranged on the horizontal line passing through substantially the center of the distance measuring area 20b, and within a common specific horizontal scanning period.
  • the output signal is read out.
  • the respective output signals are sequentially discriminated and read out from the column in which the plurality of first pixels 35 are arranged and the column in which the plurality of second pixels 36 are arranged, and the output waveform WR from the column of the first pixels 35 is read out.
  • the output waveform WL from the example of the second pixel 36 is obtained.
  • the output waveforms WR and WL include signal patterns corresponding to the luminance distributions of the subjects A and B, respectively, and have peaks PA and PB, respectively.
  • the phase difference detection unit 54 calculates a phase difference amount that is a shift amount of the peak PA of both the output waveforms WR and WL and a phase difference amount that is a shift amount of the peak PB of the both output waveforms WR and WL.
  • FIG. 5 is an example of output waveforms WR and WL when the subject B is in focus and the subject A is not in focus. In such a case, almost no phase difference is detected at the peak PB of both output waveforms WR and WL, but the phase difference corresponding to the distance from the subject B to the subject A is detected at the peak PA of both output waveforms WR and WL. Is detected. Note that the symbol “ ⁇ ” in the figure is the phase difference amount of the peak PA of both output waveforms WR and WL.
  • the peaks PA and PB of both output waveforms WR and WL do not match and a phase difference occurs in both.
  • the focus lens 15 is moved to the infinity position side for focusing while continuing the imaging, the phase difference of the peak PA between the output waveforms WR and WL becomes smaller, and the position of the peak PB becomes smaller. If the phase difference increases, it can be seen that the moving direction of the focus lens 15 is the direction in which the subject A is focused, and the direction in which the subject B is out of focus.
  • the focal length of the imaging optical system and the subject distance on which the current focus lens 15 is focused are calculated. Can do. Therefore, based on the phase difference of the peak PA between the output waveforms WR and WL, it is calculated how much the focus lens 15 can be moved to the infinity position side to focus on the subject A. I can do it.
  • the focus lens 15 When the focus lens 15 is moved to the infinity position side, if the phase difference of the peak PA decreases between the output waveforms WR and WL and the phase difference of the peak PB increases, the current focus is achieved. It can be seen that the subject B is at the front pin position with respect to the subject distance, and the current moving direction of the focus lens 15 is opposite to the subject B.
  • the symbol “ ⁇ ” in the figure is the phase difference amount of the peak PB of both output waveforms WR and WL.
  • the phase difference detection unit 54 detects the phase difference amount of the peak PA obtained based on the waveform patterns of the output waveforms WR and WL, and the peak PB.
  • the phase difference amount detection result is sent to the CPU 11.
  • the detection of the phase difference amount is not necessarily limited to the peaks PA and PB. If the phase difference between the waveform patterns of the subjects A and B is detected, the phase difference amount is detected between specific pattern portions such as the rising portions of the output waveforms WR and WL. The phase difference amount may be detected.
  • the CPU 11 sequentially executes various programs read from a ROM (not shown), thereby achieving a focus control unit 55, a subject position coordinate detection unit (hereinafter referred to as a position coordinate detection unit) 56, and a zoom control unit. 58 functions.
  • the focus detection unit 26 is the current focal length of the imaging optical system calculated based on the position of the variable magnification lens 14, the current focused subject distance calculated based on the position of the focus lens 15, and the above-described focus distance.
  • the focus adjustment amount for the subject A or the subject B is calculated from the phase difference amounts ⁇ and ⁇ obtained based on the output waveforms WR and WL that are sequentially output and the changes thereof.
  • the focus control unit 55 then drives the focus drive unit 18 via the lens driver 21 based on the focus adjustment amount obtained by the focus detection unit 26 and executes AF processing.
  • the position coordinate detection unit 56 operates in a moving image capturing mode in which autofocus is performed in parallel or when a live view image is displayed.
  • the position coordinate detection unit 56 analyzes the R viewpoint image data stored in the VRAM 24 (either L viewpoint image data or both R and L viewpoint image data are acceptable), and an in-focus subject (hereinafter referred to as in-focus).
  • the position coordinates (X, Y) of the object are detected.
  • the position coordinate detection unit 56 detects all subjects included in the R viewpoint image data using a known pattern matching method or face detection method. Next, based on the detection result of the phase difference detection unit 54, the position coordinate detection unit 56 focuses the subject corresponding to the peak at which the phase difference amount is minimum, particularly on the subject included in the central region of the imaging surface 20a. It is determined that the subject is. Then, the position coordinate detection unit 56 detects, for example, the center coordinates (other coordinates are acceptable) of the subject that is the focus target in the R viewpoint image as the position coordinates (X, Y). The position coordinate detection unit 56 detects position coordinates each time new R viewpoint image data is stored in the VRAM 24, and sequentially sends the detection results to the zoom control unit 58.
  • the zoom control unit 58 controls the zoom drive unit 17 via the lens driver 21 when the zoom switch 12c is operated, and the zoom lens 14 according to the operation position (T position / W position) of the zoom switch 12c. Is moved to the tele end side or wide end side. Further, the zoom control unit 58 moves the zoom lens 14 to the tele end side or the wide end side only when the subject to be focused is moved to another subject in the moving image capturing mode or the live view image display. The automatic zoom control process that automatically moves the camera is performed.
  • the zoom control unit 58 is provided with a determination unit (first determination means) 60, a lens movement amount determination unit 61, and an automatic zoom control unit 62.
  • the determination unit 60 satisfies the following first to third conditions in order to check whether or not the subject to be focused is changed every time new R, L image data is stored in the VRAM 24. To check.
  • the determination unit 60 determines whether the amount of change in the position coordinates (X, Y) of the focused subject extracted by the position coordinate detection unit 56 exceeds a prescribed value. Specifically, whether or not
  • the determination unit 60 monitors the AF control by the focus control unit 55 and determines whether or not the focus lens 15 has moved to the infinity position side or the closest position side. When the focus lens 15 is not moved, the determination unit 60 determines that the second condition is not satisfied and the in-focus subject has not changed to another subject. The determination unit 60 determines that the second condition is satisfied when the focus lens 15 is moved.
  • the determination unit 60 determines whether the peak at which the phase difference amount is minimum has changed based on the detection result of the phase difference detection unit 54.
  • the determination unit 60 determines that the third condition is not satisfied and the in-focus subject has not changed to another subject when the peak at which the phase difference amount is minimum does not change.
  • the determination part 60 determines with the 3rd condition being satisfy
  • the determination unit 60 determines that the in-focus subject has changed to another subject when all of the first to third conditions are satisfied, and includes the movement direction of the focus lens 15 and uses this determination result as the lens movement amount determination unit. 61 and the automatic zoom control unit 62 respectively.
  • the lens movement amount determination unit 61 operates when the determination result from the determination unit 60 is input.
  • the lens movement amount determination unit 61 determines the movement direction and movement amount of the zoom lens 14 and sends the result to the automatic zoom control unit 62.
  • the lens movement amount determination unit 61 determines the movement direction of the zoom lens 14 based on the movement direction of the focus lens 15. Specifically, when the focus lens 15 is moved to the infinity position side, the moving direction of the zoom lens 14 is determined to be the tele end side where the imaging magnification is increased. On the contrary, when the focus lens 15 moves to the closest position side, the moving direction of the zoom lens 14 is determined to the wide end side where the imaging magnification is reduced.
  • the lens movement amount determination unit 61 determines the peak corresponding to the out-of-focus subject that is out of focus (the previous focused subject when there are two subjects) based on the detection result of the phase difference detection unit 54.
  • the amount of movement of the zoom lens 14 is obtained from the phase difference amount.
  • the amount of movement of the variable magnification lens 14 is obtained by multiplying a peak phase difference amount corresponding to the out-of-focus subject by a predetermined coefficient.
  • the predetermined coefficient can be determined according to the optical characteristics of the imaging optical system 13, such as zoom magnification and F value, or can be determined through experiments.
  • the larger the phase difference amount of the peak corresponding to the out-of-focus subject the greater the movement amount of the variable magnification lens 14.
  • the automatic zoom control unit 62 operates when the determination result from the determination unit 60 is input.
  • the automatic zoom control unit 62 controls the zoom drive unit 17 via the lens driver 21 based on the determination result of the moving direction and the moving amount of the variable magnification lens 14 input from the lens movement amount determination unit 61 to change the variable magnification lens. 14 is moved.
  • the mode switch 12a is switched to the moving image capturing mode.
  • the CPU 11 controls the operation of the mechanical shutter 16 via the lens driver 21 and drives the image sensor 20 via the CMOS driver 23.
  • the mechanical shutter 16 is opened and closed at a predetermined shutter speed, and signal charges are accumulated in the PD 43 of each of the first and second pixels 35 and 36 of the image sensor 20.
  • the signal charges accumulated in the PDs 43 are read out as signal voltages to the signal lines 40 by the pixel circuits 38 of the first and second pixels 35 and 36, respectively.
  • Each signal voltage is output to the image processing circuit 22 as an output signal.
  • the parallax image generation unit 23 generates R viewpoint image data based on the output signal from each first pixel 35, and generates L viewpoint image data based on the output signal from each second pixel 36.
  • the image processing circuit 22 stores these R and L viewpoint image data in the VRAM 24.
  • the display circuit 33 performs predetermined signal processing on the R and L viewpoint image data stored in the VRAM 24 to generate an image display signal, and outputs the signal to the monitor 32. As a result, a live view image that can be viewed stereoscopically is displayed on the monitor 32.
  • the focus detection image generation unit 52 generates R focus detection image data and L focus detection image data based on output signals from the first pixel 35 and the second pixel 36 included in the central region of the imaging surface 20a. Generate. The R focus detection image and the L focus detection image are shifted in the left-right direction in accordance with the in-focus state of the imaging optical system 13. The R and L focus detection image data is output to the focus detection unit 26.
  • the focus detection unit 26 analyzes the R and L focus detection image data, and detects the shift direction between the R focus detection image and the L focus detection image and the shift amount between the two images, thereby taking an imaging optical system. 13 focus adjustment amounts (also referred to as defocus amounts) are obtained. Based on the focus adjustment amount, the focusing control unit 55 controls the lens driver 21 and moves the focus lens 15 by the focus driving unit 18.
  • the focus lens 15 has been moved to a lens position where the subject B is focused (hereinafter referred to as a B lens position).
  • phase difference AF processing is described in detail in, for example, Japanese Patent No. 2959142, Japanese Patent Application Laid-Open No. 2009-128892, Japanese Patent Application Laid-Open No. 2007-158597, and the description thereof is omitted here.
  • the automatic zoom control process is executed according to the flowchart shown in FIG.
  • the signal output detection unit 53, the phase difference detection unit 54, the position coordinate detection unit 56, and the determination unit 60 operate.
  • the signal output detection unit 53 detects the output value of the output signal from each of the first and second pixels 35 and 36 on a specific horizontal scanning line Ht of the image sensor 20.
  • output waveforms WR and WL during horizontal scanning of the distance measuring area 20b are also obtained.
  • the phase difference detection unit 54 calculates a phase difference amount ⁇ and a phase difference amount ⁇ from both output waveforms WR and WL, and sends the calculation results to the CPU 11. Since the subject B is a focused subject, the phase difference amount ⁇ is detected, but the phase difference amount ⁇ is almost zero.
  • the position coordinate detection unit 56 determines that the subject B is a focused subject based on the analysis result of the R viewpoint image data newly stored in the VRAM 24 and the detection result of the phase difference detection unit 54. Next, the position coordinate detection unit 56 detects the position coordinate (X, Y) of the subject B and sends the detection result to the zoom control unit 58.
  • the determination unit 60 determines whether the first to third conditions are satisfied based on the monitoring result of the movement of the focus lens 15, the detection result of the phase difference detection unit 54, and the detection result of the position coordinate detection unit 56. Determine. Based on the detection result of the position coordinate detection unit 56, the determination unit 60 firstly satisfies the first condition that the change amount ( ⁇ X, ⁇ Y) of the position coordinate (X, Y) is
  • the determination unit 60 determines whether or not the second condition for moving the focus lens 15 is satisfied. Furthermore, when the second condition is satisfied, the determination unit 60 determines whether the third condition that minimizes the phase difference amount ⁇ of the peak PA corresponding to the subject A is satisfied based on the detection result of the phase difference detection unit 54. Determine whether.
  • the determination unit 60 determines that the in-focus subject has changed from the subject B to the subject A unless all of the first to third conditions are satisfied.
  • the R, L viewpoint image data generation processing, the live view image generation processing, and the AF processing are repeatedly executed until the determination unit 60 determines that the focused subject has changed to the subject A.
  • the subject A may move to the center area of the R and L viewpoint images due to a change in the posture of the user or camera shake.
  • the focus lens 15 may be moved to a lens position that focuses on the subject A (hereinafter referred to as A lens position) by the phase difference AF process, and the focused subject may change to the subject A.
  • the change amount ( ⁇ X, ⁇ Y) of the position coordinates (X, Y) of the subject B is
  • the focus lens 15 moves from the B lens position toward the A lens position toward the infinity position side, the second condition is also satisfied.
  • the output waveforms WR and WL of the signals sequentially read out along the specific horizontal scanning line Ht in the distance measuring area 20b are changed from the state shown in FIG. It changes to the state shown in. That is, as shown in the figure, the subject A between the output waveforms WR and WL has a significant phase difference amount ⁇ , and the subject B has a phase difference amount ⁇ of almost zero. Changes to a state where the subject B has a significant amount of phase difference ⁇ , and as a result, the third condition is also satisfied.
  • the determination unit 60 determines that the in-focus subject has changed from the subject B to the subject A, and uses the determination result as the lens movement amount determination unit 61 and the automatic zoom. Each is sent to the control unit 62. As a result, the lens movement amount determination unit 61 and the automatic zoom control unit 62 operate.
  • the lens movement amount determination unit 61 determines the moving direction of the zoom lens 14 to the tele end side. Then, the lens movement amount determination unit 61 sets the phase difference amount ⁇ of the subject B that is the previous focused subject to a negative value ( ⁇ ). Next, the lens movement amount determination unit 61 obtains the movement amount of the zoom lens 14 by multiplying “ ⁇ ” by a predetermined coefficient, and sends the result to the automatic zoom control unit 62.
  • the zoom lens movement amount is a negative value, this indicates that the zoom lens 14 is moved to the tele end side. Conversely, when the zoom lens is a positive value, the zoom lens 14 is moved to the wide end side. It shows moving.
  • the automatic zoom control unit 62 controls the zoom drive unit 17 via the lens driver 21 to move the zoom lens 14 toward the tele end side by the movement amount determined by the lens movement amount determination unit 61. This increases the imaging magnification.
  • the size of the subjects A and B in the distance measuring area 20b of the monitor 32 also changes from the state shown in FIG. 11A to the state shown in FIG.
  • the image is enlarged as a whole.
  • the parallax of subject B becomes almost zero and the subject A has parallax, so subject B appears to be located on the monitor screen, and conversely subject A Appears to be retracted into the back of the monitor screen.
  • the determination unit 60 determines that the first to third conditions are satisfied.
  • the lens movement amount determination unit 61 determines the moving direction of the zoom lens 14 to the wide end side where the imaging magnification becomes small, and the previous focused subject
  • the phase difference amount ⁇ of the subject A is a positive value (+ ⁇ ).
  • the lens movement amount determination unit 61 obtains the movement amount of the zoom lens 14 by multiplying “+ ⁇ ” by a predetermined coefficient, and sends the result to the automatic zoom control unit 62.
  • the automatic zoom control unit 62 controls the zoom drive unit 17 via the lens driver 21 to move the zoom lens 14 toward the wide end side by the movement amount determined by the lens movement amount determination unit 61. As a result, the focal length of the imaging optical system 13 is changed so that the imaging magnification is reduced.
  • an output signal for one frame is output from the first and second pixels 35 and 36 to the image processing circuit 22 at a constant frame rate (for example, 30 frames / second).
  • the circuit 22 sequentially generates R and L frame image data.
  • the R and L frame image data is sequentially stored in the VRAM 24. As a result, a live view image that can be viewed stereoscopically is displayed on the monitor 32 as described above.
  • the compression / decompression processing circuit 29 sequentially performs data compression processing on the R and L frame image data sequentially stored in the VRAM 24.
  • the compressed frame image data subjected to the data compression processing is sequentially recorded in a predetermined file format on the memory card 31. Further, the phase difference AF process and the automatic zoom control process shown in FIG. 9 are executed. Thereafter, the above-described processes are repeatedly executed until the shutter button 12b is pressed again.
  • each compressed frame image data obtained by moving image capturing is recorded in the memory card 31 as one moving image file. Since the automatic zoom control process is executed even when moving images are captured, it is possible to suppress discomfort caused by the illusion caused by the change of the in-focus subject when the image obtained by moving image capturing is viewed stereoscopically.
  • the above-described series of processing is repeatedly executed.
  • the process flow until the shutter button 12b is pressed is the same as that of the moving image capturing mode.
  • an output signal for one frame is output from the image sensor 20, and R and L viewpoint image data is generated.
  • the R and L viewpoint image data is compressed and then recorded as a still image file on the memory card 31.
  • a digital camera 70 according to the second embodiment of the present invention will be described with reference to FIG.
  • the sense of incongruity caused by the change of the focused subject is suppressed by changing the imaging magnification when the focused subject is changed.
  • the difference between the actual imaging magnification and the imaging magnification when the user performs a zoom operation increases, and the user may feel uncomfortable. Therefore, in the digital camera 70, after the imaging magnification is changed by the automatic zoom control process, if the focused subject does not change for a certain period, the imaging magnification is returned to the original magnification.
  • the digital camera 70 has basically the same configuration as the digital camera 10 of the first embodiment, except that the CPU 71 functions as a zoom control unit 72 different from the zoom control unit 58 of the first embodiment.
  • the same code is attached and the description is abbreviate
  • the zoom control unit 72 includes a lens position return determination unit (second determination unit) 73 and a lens position return control unit 74. It has been.
  • the automatic zoom control unit 62 is provided with a lens position storage unit 62a.
  • the automatic zoom control unit 62 stores information on the original position of the variable magnification lens 14 (hereinafter simply referred to as pre-movement position information) in the lens position storage unit 62a before moving the variable magnification lens 14.
  • the lens position return determination unit 73 operates after the focus lens 15 is set at a lens position at which a new in-focus subject is focused, and the zoom lens 14 is moved and the imaging magnification is changed by the automatic zoom control process.
  • the lens position return determination unit 73 determines whether or not the in-focus subject remains unchanged for a certain period. Specifically, similarly to the determination unit 60, each time new R, L image data is stored in the VRAM 24, it is determined whether or not the first to third conditions are satisfied.
  • the lens position return determination unit 73 is provided with a counter 75.
  • the lens position return determination unit 73 increases the count value of the counter 75 by +1 when any of the first to third conditions is not satisfied. Then, when the count value of the counter 75 reaches a predetermined upper limit value, the lens position return determination unit 73 determines that the in-focus subject has not changed for a certain period and determines the determination result to the lens position return control unit 74. send. At the same time, the lens position return determination unit 73 resets the count value of the counter 75.
  • the lens position return control unit 74 operates when the determination result from the lens position return determination unit 73 is input.
  • the lens position return control unit 74 controls the zoom drive unit 17 via the lens driver 21 based on the pre-movement position information stored in the lens position storage unit 62a to return the variable magnification lens 14 to the original lens position. .
  • the lens position return control unit 74 adjusts the moving speed of the zoom lens 14 to a slow speed that is difficult for the user to notice when returning the zoom lens 14 to the original lens position.
  • the automatic zoom control unit 62 stores the pre-movement position information in the lens position storage unit 62a before moving the zoom lens 14.
  • the lens position return determination unit 73 When the zoom lens 14 is moved by the automatic zoom control process after the focus lens 15 is set to a lens position that focuses on a new subject, the lens position return determination unit 73 operates.
  • the lens position return determination unit 73 stores new R and L image data in the VRAM 24 based on the monitoring result of the movement of the focus lens 15, the detection result of the phase difference detection unit 54, and the detection result of the position coordinate detection unit 56. Each time it is stored, it is determined whether or not the first to third conditions are satisfied.
  • the lens position return determination unit 73 increases the count value of the counter 75 by +1 when any of the first to third conditions is not satisfied. When the state in which any of the first to third conditions is not satisfied continues, the count value of the counter 75 increases. If the in-focus subject does not change even after a certain period of time and any of the first to third conditions is not satisfied, the count value of the counter 75 reaches a predetermined upper limit value.
  • the lens position return determination unit 73 determines that the focused subject has not changed for a certain period and sends the determination result to the lens position return control unit 74. Further, the lens position return determination unit 73 resets the count value of the counter 75.
  • the lens position return control unit 74 operates in response to an input of a determination result from the lens position return determination unit 73. First, the lens position return control unit 74 reads the pre-movement position information stored in the lens position storage unit 62a. Next, the lens position return control unit 74 controls the zoom driving unit 17 via the lens driver 21 based on the pre-movement position information, and does not give the user a sense of incongruity with the zoom lens 14 directed toward the original lens position. Return slowly.
  • the zoom lens 14 is returned to the original lens position, so that when the automatic zoom control process is repeatedly executed, the actual imaging magnification and user It is possible to prevent the difference from the imaging magnification due to the zoom operation from becoming large. As a result, user discomfort can be reduced.
  • the processing after returning the variable magnification lens 14 to the original position is basically the same as that in the first embodiment, and thus the description thereof is omitted here.
  • a digital camera 80 according to a third embodiment of the present invention will be described with reference to FIGS.
  • the imaging magnification is changed by performing an optical zoom that moves the variable magnification lens 14 in the direction of the optical axis O1, but the digital camera 80 has a single focal point in the imaging optical system.
  • electronic zoom is performed to change the image magnification by signal processing image data.
  • the digital camera 80 is basically the same configuration as the digital camera 10 of the first embodiment except that an electronic zoom unit 82 is provided instead of the zoom lens 14 and the zoom drive unit 17 of the first embodiment. It is.
  • an electronic zoom unit 82 is provided instead of the zoom lens 14 and the zoom drive unit 17 of the first embodiment. It is.
  • symbol is attached
  • the electronic zoom unit 82 reads the R and L viewpoint images newly stored in the VRAM 24 and performs a scaling process on the R and L viewpoint images. Specifically, normal imaging is performed on a screen that is smaller than the effective imaging screen imaged by the imaging optical system in consideration of the reduction magnification of the electronic zoom, and the image magnification of the electronic zoom specified by the zoom control unit 58 is determined.
  • the R and L viewpoint image data are generated by electronically enlarging or reducing a part of each of the R and L viewpoint images. As a result, the sizes of the subjects A and B in the R and L viewpoint images change.
  • the R and L viewpoint image data after scaling is stored again in the VRAM 24.
  • the display circuit 33 performs predetermined signal processing on the scaled R and L viewpoint image data stored in the VRAM 24 to generate an image display signal, and outputs the signal to the monitor 32 at a fixed timing. As a result, the live view image is displayed on the monitor 32 in a stereoscopic manner. Further, the compression / decompression processing circuit 29 performs compression processing on the scaled R and L viewpoint image data processed by the electronic zoom unit 82 when an imaging instruction is given, and an image file in a predetermined file format. Is generated.
  • the zoom control unit 58 controls the electronic zoom unit 82 to generate R and L viewpoint image data that has been scaled at the image magnification specified by the zoom operation.
  • the zoom control unit 58 is provided with an image magnification determination unit 84 and an automatic zoom control unit 85 instead of the lens movement amount determination unit 61 and the automatic zoom control unit 62 of the first embodiment.
  • the image magnification determination unit 84 operates when a determination result from the determination unit 60 is input, as in the previous embodiment.
  • the image magnification determination unit 84 determines the image magnification with reference to the data table 86 based on the moving direction of the focus lens 15 and the detection result of the phase difference detection unit 54, and sends the result to the automatic zoom control unit 85.
  • the peak phase difference amount corresponding to the unfocused subject (the previous focused subject), the image magnification when the focus lens 15 is moved to the infinity position side, and the focus lens 15 are in the closest position.
  • the image magnification when moving to the side is stored in association with each other.
  • the image magnification is set to increase when the focus lens 15 moves to the infinity position side, and conversely, the image magnification decreases to move when the focus lens 15 moves to the close position side. Yes.
  • the automatic zoom control unit 85 operates when a determination result from the determination unit 60 is input.
  • the automatic zoom control unit 85 controls the electronic zoom unit 82 on the basis of the determination result of the image magnification determination unit 84 to generate scaled R and L viewpoint image data.
  • the operation of the digital camera 80 configured as described above is basically the same as that of the digital camera 10 of the first embodiment except that electronic zoom is performed instead of optical zoom.
  • the image magnification determination unit 84 refers to the data table 86 based on the moving direction of the focus lens 15 and the detection result of the phase difference detection unit 54 when the determination unit 60 determines that the in-focus subject has changed. Determine the magnification.
  • the automatic zoom control unit 85 controls the electronic zoom unit 82 to generate R and L viewpoint image data scaled at the image magnification determined by the image magnification determination unit 84.
  • the zoom magnification of the electronic zoom has changed, and the occurrence of a sense of incongruity due to an illusion can be suppressed as in the first embodiment.
  • a digital camera 90 according to a fourth embodiment of the present invention will be described with reference to FIG.
  • the digital camera 90 changes the image magnification by the electronic zoom as in the digital camera 80 of the third embodiment, and further prevents unnatural increase or decrease of the image magnification by the electronic zoom.
  • the same magnification return function is also provided.
  • the digital camera 90 includes an electronic zoom unit 82, an image magnification determination unit 84, and an automatic zoom control unit 91, and further includes a zoom magnification return determination unit 92 and an image magnification return control unit 93. ing.
  • the same functions and configurations as those in the first to third embodiments are denoted by the same reference numerals, and the description thereof is omitted.
  • the automatic zoom control unit 91 is basically the same as the automatic zoom control unit 85 of the third embodiment. However, the automatic zoom control unit 91 is provided with an image magnification storage unit 90a.
  • the automatic zoom control unit 91 stores information on the original image magnification (hereinafter simply referred to as pre-magnification magnification information) in the image magnification storage unit 90a before the electronic zoom unit 82 is controlled to change the image magnification.
  • the image magnification return determination unit 92 is basically the same as the lens position return determination unit 73 of the second embodiment.
  • the image magnification return determination unit 92 determines whether or not the in-focus subject remains unchanged for a certain period after the image magnification is changed by the automatic zoom control process. Specifically, when any of the first to third conditions is not satisfied, the count value of the counter 75 is incremented by +1, and the focused subject is detected when the count value reaches a predetermined upper limit value. It is determined that it has not changed for a certain period.
  • the image magnification return control unit 93 controls the electronic zoom unit 82 based on the pre-magnification magnification information stored in the image magnification storage unit 90a. Return the image magnification to the original magnification. Further, the image magnification return control unit 93 adjusts the speed at which the image magnification is returned to the original zoom magnification to a slow speed that is difficult for the user to notice.
  • the operation of the digital camera 90 configured as described above is basically the same as that of the digital camera 70 of the second embodiment except that electronic zoom is performed instead of optical zoom.
  • the image magnification is changed when the in-focus subject changes, and if the in-focus subject does not change for a certain period after this enlargement, the image magnification is gradually returned to the original magnification. Thereby, the effect similar to 2nd Embodiment is acquired.
  • the lens movement amount determination unit 61 of the first to second embodiments obtains the movement amount of the variable magnification lens 14 by multiplying the peak phase difference amount corresponding to the previous focused subject by a predetermined coefficient.
  • the movement amount of the variable magnification lens 14 may be determined by referring to a data table or the like associated with the amount of phase difference and the movement amount of the variable magnification lens 14.
  • the image magnification determination unit 84 of the third to fourth embodiments may obtain the image magnification by multiplying the phase difference amount detected by the phase difference detection unit 54 by a predetermined coefficient.
  • the first and second eccentric openings 45a and 45b are formed in the light shielding film 45, whereby the first pixel 35 has higher sensitivity to the incident light 54R and the second pixel. 36 has higher sensitivity to the incident light 54L.
  • the microlens 49 may be formed at a position shifted from the center of the PD 43 below (for example, Japanese Patent No. 2959142). reference).
  • the magnification of the optical zoom or electronic zoom is changed when the focus lens 15 moves from one of the A lens position and the B lens position to the other.
  • the magnification may be changed. Specifically, when the focus lens 15 moves from the first position, which is the previous focus position, to the second position, which is the next focus position, the movement direction and amount of movement from the first position to the second position The direction of zooming and the amount of zooming change may be determined.
  • the magnification is increased when the focus lens 15 is moved to the infinity position side, and the magnification is decreased when the focus lens 15 is moved to the closest position side.
  • the magnification of the optical zoom or the electronic zoom is changed when the focusing position of the imaging optical system is moved.
  • the magnification may be changed in the same manner when manual focus adjustment is performed. Good.
  • a digital camera having a phase difference AF function has been described.
  • the present invention can also be applied to a digital camera that performs focus detection and focus adjustment by a known contrast detection method.
  • the digital camera 100 includes an AF lens movement control unit (hereinafter simply referred to as a lens movement control unit) 101 for performing focus detection by a contrast detection method, and a focus detection unit (second Focusing detection means) 102.
  • the digital camera 100 has basically the same configuration as the digital camera 10 of the first embodiment except that the focus detection by the contrast detection method is performed. For this reason, the same reference numerals are given to the same functions and configurations as those in the first embodiment, and the description thereof is omitted.
  • the lens movement control unit 101 moves the focus lens 15 from one of the infinity position or the closest position to the other side when detecting focus.
  • the focus detection unit 102 detects the AF contrast value of the subject image from the output signal output from at least one of the first pixel 35 and the second pixel 36 at each lens position. AF evaluation value) is calculated. Then, the focus detection unit 102 determines the position (peak position) where the contrast is highest as the focus lens position, and sends the result to the focus control unit 55.
  • the focus control unit 55 operates the focus drive unit 18 via the lens driver 21 to set the focus lens 15 at the focus lens position. Note that the AF control for performing the focus detection in the contrast detection method is described in detail in, for example, Japanese Patent Application Laid-Open No. 2008-262001, and the detailed description thereof is omitted here.
  • automatic zoom control in which the imaging magnification of the imaging optical system 103 is changed in accordance with the AF processing is performed, so the same effect as in the first embodiment can be obtained.
  • the automatic zoom control is performed after the focus lens 15 is moved, for example. Further, the AF process and the automatic zoom control may be repeatedly executed alternately.
  • the focus detection using the contrast detection method may be performed instead of the focus detection using the phase difference method.
  • hybrid focus detection may be performed by combining phase difference focus detection and contrast detection focus detection (see, for example, Japanese Patent No. 4646709).
  • a total of two types of phase difference pixels, the first to second pixels 35 and 36, are arranged on the imaging surface 20a.
  • incident light from a different direction from the diagonally upper right and left directions incident light from a different direction from the diagonally upper right and left directions
  • two or more types of phase difference pixels including phase difference pixels with high sensitivity may be arranged. In this case, two or more viewpoint images are obtained.
  • the signal output detection unit 53 and the phase difference detection unit 54 are provided in the image processing circuit 22, but these may be provided in addition to the image processing circuit 22 such as the image sensor 20 or the CPU.
  • the pixel arrangement pattern of the image sensor 20 is not limited to the pattern shown in FIG. 2 and may be arranged in various arrangement patterns such as a honeycomb arrangement pattern.
  • a digital camera provided with a CMOS image sensor has been described, the present invention can also be applied to a digital camera using a CCD image sensor as a solid-state imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　立体画像の観察時に、被写体がモニタ画面に対して前後に移動して表示される違和感を抑える。　イメージセンサ（２０）の全画素を第１位相差画素（３５）と第２位相差画素（３６）との組で構成する。イメージセンサ（２０）の撮像面（２０ａ）の中央領域に含まれる第１～第２位相差画素（３５，３６）からの出力信号に基づき、Ｒ，Ｌ焦点検出用画像データを生成する。Ｒ，Ｌ焦点検出用画像データに基づき位相差方式による合焦検出を行い、この結果に基づいてＡＦ処理を実行する。ライブビュー画像表示時に、ピントの合う合焦被写体が手前側に位置する被写体Ｂから奥側に位置する被写体Ａに変わった場合には、変倍レンズ（１４）をテレ端側に移動させて撮像倍率を大きくする。逆にピントの合う合焦被写体が被写体Ａから被写体Ｂに変わった場合には、変倍レンズ（１４）をワイド端側に移動させて撮像倍率を小さくする。

Description

デジタルカメラ
　本発明は、位相差方式によるピント合わせを行って立体視用の視差画像を撮像するデジタルカメラに関する。
　ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子を備え、デジタル画像を撮像するデジタルカメラが普及している。デジタルカメラは、撮像光学系のピントを自動的に調節するオートフォーカス（以下、単にＡＦという）機能を備えている。特に、固体撮像素子の一部の画素をＡＦに利用して位相差方式で撮像光学系のピントを自動調節するデジタルカメラが知られている（特許文献１参照）。
　瞳分割方式の位相差ＡＦを行うデジタルカメラには、通常の撮像に用いられる画素のほかに、ＡＦ用に互いに異なった方向からの入射光を識別して受光できるように、入射角に選択性をもたせた２種類の画素（以下、第１位相差画素、第２位相差画素という）の組を複数組備えた固体撮像素子が用いられている（特許文献２参照）。第１位相差画素は、ＰＤの受光面の中心位置に対し第１の方向に偏心した第１偏心開口部を通して入射した光を受光し、第２位相差画素は、ＰＤの受光面の中心位置に対し第１の方向とは反対側の第２の方向に偏心した第２偏心開口部を通して入射した光を受光する。第１及び第２偏心開口部は、ＰＤが形成された半導体基板上を覆う遮光膜に形成されている。これにより、第１及び第２偏心開口部のある画素を撮像光軸に関して左右に配置しておけば、第１位相差画素は右方向からの入射光に対して感度が高くなり、第２位相差画素は左方向からの入射光に対して感度が高くなる。
　各第１位相差画素によって構成される画像と各第２位相差画素によって構成される画像とは、撮像光学系の合焦状態に応じて互いの間隔が変化する。この２つの画像の間のずれ量は撮像光学系の焦点のずれ量に対応しており、撮像光学系が合焦しているときはずれ量は零である。撮像光学系の焦点がずれている場合には、その焦点のずれ量に応じて２つの画像は互いにずれることになり、ずれの方向は焦点ズレ（前ピン／後ピン）の方向に応じて決まる。従って、撮像光学系に組み込まれているピント合わせ用のレンズを光軸方向に移動したとき、レンズの移動方向と画像ずれが変化する方向との対応がつけば、各画像のずれ量と、その時点における撮像光学系の焦点距離と合焦状態の被写体距離に基づいて撮像光学系のフォーカス調整量を求めることができる。
　一方、上述した第１位相差画素と第２位相差画素だけを撮像面に並べた固体撮像素子も知られている（特許文献３）。この固体撮像素子からは、各第１位相差画素から出力される出力信号によって構成されるＲ視点画像（第１視点画像）と、各第２位相差画素から出力される出力信号によって構成されるＬ視点画像（第２視点画像）とにより構成される２視点の視差画像を取得することができる。一般に、視差画像を取得するためには、撮像光学系と固体撮像素子とを２組用意し、これらを平行に配置して撮像を行う必要がある（特許文献４ないし６参照）。これに対して、撮像面に第１及び第２位相差画素のみを並べた固体撮像素子を備えた視差画像撮像用のデジタルカメラを用いれば、単レンズの一台のカメラでも２枚の視点画像からなる視差画像を撮像することができる。
特開２０１０－２５２２７７号公報 特開２００８－３１２０７３号公報 特開２００７－３１７９５１号公報 特開２０１０－１０９７８５号公報 特開２０１１－１１９９９５号公報 特開２０１１－１１４３８２号公報
　視差画像撮像用のデジタルカメラでは、固体撮像素子の撮像面の特定の領域（例えば中央領域）に測距用のエリアが設定され、そのエリア内に含まれる第１及び第２位相差画素からの出力信号に基づいて位相差ＡＦを実行する場合が多い。このため、中央領域の被写体にピントがあったＲ，Ｌ視点画像は得られるが、他の領域ではピントが合わせにくい。一方、位相差ＡＦでピント合わせしたＲ，Ｌ視点画像では、ピントがあった被写体には視差が生ぜず、ピントが合っていない被写体には視差が生じる。このようなＲ，Ｌ視点画像を、例えばデジタルカメラの３Ｄモニタで立体視すると、Ｒ，Ｌ視点画像内のピントの合う領域は奥行き方向に関してモニタ画面上に位置するように見え、逆にピントの合わない領域はモニタ画面から飛びだし、あるいはモニタ画面の奥側に引っ込んで観察される。
　このため、図１８に示すように、例えばモニタ画面１０５の中に２つの被写体Ａ，Ｂが含まれる同一のシーンを連続して撮像するライブビュー画像の撮像時において、このライブビュー画像を３Ｄモニタで立体視すると、以下に説明するような違和感が生じる場合がある。なお、被写体Ａは被写体Ｂよりもデジタルカメラに対して遠い位置にある。図１９に示すように、デジタルカメラ１００の撮像光学系のピントが被写体Ｂに合っている場合には、被写体Ｂがモニタ画面１０５上に位置するように見えるが、被写体Ａはモニタ画面１０５よりも奥側に引っ込んでいるように見える。なお、符号Ｆｓは撮像光学系のピントが合っている合焦面であり、符号Ｌａ，Ｌｂはデジタルカメラ１００からそれぞれ被写体Ａ、被写体Ｂまでの距離である。
　ライブビュー画像の撮像中に、ユーザの姿勢の僅かな変化や手ブレなどにより、Ｒ，Ｌ視点画像の中央領域に被写体Ａが入ってくると、位相差ＡＦにより被写体Ａにピントが合う場合がある。すると、図２０に示すように被写体Ａがモニタ画面１０５上に位置するように見え、被写体Ｂはモニタ画面１０５よりも手前側に飛び出しているように見える。このため、実際の被写体Ａ，Ｂまでの距離Ｌａ，Ｌｂは異なるものの、被写体Ｂにピントが合った第１状態における被写体Ｂまでの距離感と、被写体Ａにピントが合った第２状態における被写体Ａまでの距離感とが同じものと認識されやすくなる。
　従って、第１状態から第２状態に切り替わると、先にモニタ画面１０５上に位置していた被写体Ｂがモニタ画面の手前側に飛び出したように見える。その結果、実際には被写体Ｂが移動していないにも関わらず、被写体Ｂが手前側に移動したような錯覚が生じ、ユーザに強い違和感を与える。また、逆に第２状態から第１状態に切り替わった場合には、先にモニタ画面１０５上に位置していた被写体Ａがモニタ画面１０５の奥側に引っ込むように見える。その結果、実際には被写体Ａが移動していないにも関わらず、被写体Ａが奥側に移動したような錯覚が生じ、ユーザには同様に強い違和感を与えることになる。
　本発明の目的は、ライブビュー画像の撮像時や動画撮像時などの際に、合焦被写体が切り替わったときに生じる不自然な距離感の変動を抑えることができるデジタルカメラを提供することにある。
　本発明のデジタルカメラは、撮像光学系と、撮像装置と、ズーム駆動部と、フォーカス駆動部と、第１判定部、ズーム制御部とを備えている。撮像光学系は変倍レンズとフォーカスレンズとを含む。撮像装置は、瞳分割された撮像光学系の異なる領域を通過してきた被写体光を撮像して視差のある複数の視点画像を撮像する。ズーム駆動部は変倍レンズを移動して撮像光学系の像倍率を変更し、フォーカス駆動部はフォーカスレンズを移動して撮像光学系のピント合わせを行う。第１判定部は撮像装置により複数回の撮像が行われる間に撮像光学系のピント合わせが無限遠位置側または至近位置側のいずれの方向に行われたのかを判定する。そしてズーム制御部は、第１判定部での判定結果に応じてズーム駆動部の作動を制御し、撮像光学系のピント合わせの方向が無限遠位置側であったときには撮像光学系の焦点距離を長くして撮像倍率を大きくし、至近位置側であったときには焦点距離を短くして撮像倍率を小さくする。
　前記撮像装置には、撮像光学系の異なる領域を通過して瞳分割された被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有する固体撮像素子が用いられる。撮像面内の複数種類の画素には、撮像光学系の光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第１画素及び第２画素が含まれる。第１画素からの第１出力信号と、第２画素からの第２出力信号に基づいて、第１合焦検出部は位相差検出方式により撮像光学系を合焦させるためのフォーカスレンズの移動方向とその移動量を検出する。第１合焦検出部による検出結果に基づいて合焦制御部が作動してフォーカス駆動部がフォーカスレンズを合焦位置に移動させる。
　また、撮像光学系のピント合わせを行う際に、フォーカス駆動部によりフォーカスレンズを無限遠位置側あるいは至近位置側に移動させる間に、第１画素からの第１出力信号と第２画素からの第２出力信号の少なくともいずれかに基づいて、コントラスト検出方式によりフォーカスレンズを合焦位置に位置決めする第２合焦検出部を用いてもよい。
　撮像光学系のピント合わせを位相差方式で行う場合には位相差検出部が設けられる。位相差検出部は、複数の前記第１画素から出力された第１出力信号と、複数の前記第２画素から出力された第２出力信号とを評価し、前記第１及び第２出力信号に被写体距離が異なる第１及び第２の被写体の像による信号パターンが含まれ、前記フォーカスレンズが前記第１の被写体に合焦した位置に移動していることが識別されたときには、前記第１出力信号と第２出力信号との間における前記第２の被写体の像に対応する信号パターンのずれ量を位相差として検出する。こうして得られた位相差は、ズーム制御部で撮像光学系の撮像倍率を変更するときに用いられる。
　第１及び第２出力信号は、固体撮像装置の特定の水平走査期間中に得られるものであることが好ましい。また、ズーム制御部は位相差検出部で検出された位相差が大きいほど撮像倍率の変化量を大きくすることが好ましい。撮像光学系のピント合わせが行われ、これに応じて撮像光学系の撮像倍率が変更された後、フォーカスレンズが一定期間停止状態にあることが第２判定部で判定されたときには、撮像光学系の撮像倍率を変更前の元の撮像倍率に戻すのが望ましい。
　本発明は光学ズーム機能をもつデジタルカメラだけでなく、画像データの処理でズーム機能を得る電子ズーム式のデジタルカメラにも適用できる。撮像装置により複数回の撮像が行われる間に撮像光学系のピント合わせが行われ、そのピント合わせの方向が無限遠位置側と至近位置側のいずれであったかを第１判定手段で判定する。そして、第１判定手段の判定結果に応じてズーム制御部を作動させ、ピント合わせの方向が無限遠位置側であることが判定されたときには電子ズームにより視差画像を拡大し、逆に至近位置側であることが判定されたときには視差画像を縮小するように制御すればよい。
　電子ズーム機能をもつデジタルカメラは光学的な変倍機能を不要とし、撮像装置から得られた視差画像の画像データをズーム制御部により電子ズーム処理し、視差画像を全体的に拡大あるいは縮小したデータに変換する点で光学ズーム式のデジタルカメラとは異なる。しかし、本発明を適用するに際しては、フォーカスレンズを移動してピント合わせを行うフォーカス駆動部や、ピント合わせの方向を判定する第１判定部、上述した第１，第２合焦検出部や合焦制御部などの構成は共通に用いることができる。また、フォーカスレンズが一定期間停止していることを判定する第２判定部、そして第２判定部の判定結果に応じて視差画像の画像倍率を変更前の倍率に戻すなどの処理も全く同様に用いることが可能である。
　本発明によれば、視差画像を撮像するにあたり、連続して撮像される一画面内に遠・近被写体が含まれ、オートフォーカスによるピント合わせの対象が遠・近被写体の間で切り替わったときには自動的に撮像倍率が増減され、ピント合わせの対象から外れた被写体の大きさが適切な大きさに調節される。この結果、ピント合わせの対象になった一方の被写体に対し、ピント合わせの対象から外れた他方の被写体の視差が不自然に強調されることがなく、他方の被写体が前後に大きく移動したような錯覚も抑制され、違和感のない立体画像の表示を行うことができる。
第１実施形態のデジタルカメラの電気的構成を示すブロック図である。 ＣＭＯＳ型のイメージセンサの平面的な模式図ある。 図２中のIII－III線に沿った断面図である。 イメージセンサの特定の水平走査期間を説明するための説明図である。 被写体Ｂにピントが合っているときの第１，第２画素の出力信号の出力波形を説明するための説明図である。 被写体Ａにピントが合っているときの第１，第２画素の出力信号の出力波形を説明するための説明図である。 ＣＰＵの機能ブロック図である。 デジタルカメラの撮像処理の流れを示したフローチャートである。 第１実施形態の自動ズーム制御処理の流れを示したフローチャートである。 被写体Ｂに合焦したときにおける、第１，第２画素の出力信号の出力波形の変化を説明するための説明図である。 被写体ＢＡ合焦したときにおける、第１，第２画素の出力信号の出力波形の変化を説明するための説明図である。 合焦被写体が被写体Ｂであるときの被写体Ａ，Ｂの撮像倍率を示す説明図である。 合焦被写体が被写体Ｂから被写体Ａに移ったときの被写体Ａ， Ｂの撮像倍率を示す説明図である。 第２実施形態のデジタルカメラの電気的構成を示すブロック図である。 第２実施形態の自動ズーム制御処理の流れを示すフローチャートである。 第３実施形態のデジタルカメラの電気的構成を示すブロック図である。 第３実施形態のＣＰＵの機能ブロック図である。 第４実施形態のデジタルカメラの電気的構成を示すブロック図である。 コントラスト検出方式の合焦検出を行う他実施形態のデジタルカメラの電気的構成を示すブロック図である。 複数の被写体が含まれる撮像シーンの概略図である。 手前側の被写体Ｂにピントが合っている状態の説明図である。 手前側の被写体Ａにピントが合っている状態の説明図である。
　図１に示すように、デジタルカメラ１０のＣＰＵ１１は、操作部１２からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。デジタルカメラ１０は、右視点で撮像されたＲ視点画像データと左視点で撮像されたＬ視点画像データとを含む２視点の視差画像データを取得する。
　デジタルカメラ１０は、静止画像を撮像する静止画撮像モードと、動画を撮像する動画撮像モードと、撮像により得られた静止画像や動画像を再生表示する再生モードとを含む複数の動作モードを有している。この動作モードの切り替えは操作部１２のモード切替スイッチ１２ａで行われる。また、操作部１２には、シャッタボタン１２ｂ、ズーム操作を行うためのズームスイッチ１２ｃなどが設けられている。
　撮像光学系１３にはズームレンズが用いられ、変倍レンズ１４とフォーカスレンズ１５を備えている。撮像光学系１３にはメカシャッタ１６も組み込まれている。変倍レンズ１４は、ズーム操作が行われたとき、ズーム駆動部１７によって光軸Ｏ１上をワイド端（広角端）とテレ端（望遠端）との間で移動する。フォーカスレンズ１５は、ピント合わせに際してフォーカス駆動部１８により駆動され、光軸Ｏ１上を無限遠に合焦する無限遠位置と至近撮像距離に合焦する至近位置との間で移動する。なお、撮像光学系１３に含まれる変倍レンズ１４とフォーカスレンズ１５の図示は機能を説明するための模式的なもので、レンズの形状や枚数などを具体的に表すものではない。
　メカシャッタ１６は可動のシャッタ羽根を有し、各レンズ１４，１５からイメージセンサ２０へと至る光路を開放／遮断する。なお、メカシャッタ１６には、イメージセンサ２０に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１６、ズーム駆動部１７、及びフォーカス駆動部１８は、レンズドライバ２１を介してＣＰＵ１１によって動作制御される。
　撮像光学系１３の背後には、減光（ＮＤ）フィルタ１９ａ、ローパス（ＬＰ）フィルタ１９ｂ、本発明の固体撮像素子に相当するＣＭＯＳ型のイメージセンサ２０などが配置されている。ＮＤフィルタ１９ａは、イメージセンサ２０に入射する被写体光を減光する。ＬＰフィルタ１９ｂは、空間周波数が所定値よりも高い被写体光を遮る。イメージセンサ２０は、ズームレンズからの被写体光を電気的な信号に変換して出力する。ＣＭＯＳドライバ２３は、ＣＰＵ１１の制御の下でイメージセンサ２０の駆動を制御する。
　画像処理回路２２は視差画像生成部２３を備える。視差画像生成部２３は、イメージセンサ２０から入力される信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施してＲ，Ｌ視点画像データを生成する。Ｒ，Ｌ視点画像データはＶＲＡＭ２４に格納される。なお、ここでいう「視差画像」とは、被写体を異なる視点から見たときの複数の視点画像の集まりをいう。画像処理回路２２は、位相差方式による撮像光学系１３の焦点検出用のＲ，Ｌ焦点検出用画像データの生成も行う。
　合焦検出部（第１合焦検出手段）２６は、Ｌ，Ｒ焦点検出用画像データに基づき、被写体に撮像光学系１３のピントを合致させるためのフォーカス調整量を求める。
　圧縮伸長処理回路２９は、撮像指示がなされたときに画像処理回路２２で処理されたＲ，Ｌ視点画像データに対して圧縮処理を施して、所定のファイル形式の画像ファイルを生成する。静止画撮像モード時には、１フレーム分のＲ，Ｌ視点画像データで構成される静止画像ファイルが生成される。また、動画撮像モード時には、複数フレーム分のＲ，Ｌ視点画像データ（以下、Ｒ，Ｌフレーム画像データという）で構成される動画像ファイルが生成される。
　また、圧縮伸長処理回路２９は、メディアＩ／Ｆ３０を介してメモリカード３１から得られた画像ファイルに対して伸長処理を施す。メディアＩ／Ｆ３０は、メモリカード３１に対する画像ファイルの記録及び読み出しなどを行う。
　モニタ３２はライブビュー画像（スルー画像ともいう）や再生画像などを表示する。このモニタ３２としては、Ｒ視点画像データ及びＬ視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。
　表示回路３３は、ＶＲＡＭ２４に格納されたＲ，Ｌ視点画像データまたは圧縮伸長処理回路２９で伸張されたＲ，Ｌ視点画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでモニタ３２へ出力する。モニタ３２には、静止画及び動画撮像モード時にライブビュー画像が立体視可能に表示される。また、モニタ３２には、再生モード時にメモリカード３１から読み出されたＲ，Ｌ視点画像を立体視可能に表示させることもできる。
　図２に示すように、イメージセンサ２０は、ズームレンズの異なる領域を通過して瞳分割された被写体光がそれぞれ結像される撮像面２０ａを有する。撮像面２０ａ上の全画素は、第１位相差画素（以下、単に第１画素という）３５と第２位相差画素（以下、単に第２画素という）３６との組で構成されている。撮像面２０ａ上には、第１画素３５と第２画素３６とを図中水平方向に交互に配列した画素ライン３７が図中垂直方向に複数配列されている。第１画素３５は撮像面２０ａに対して右斜め上から入射する入射光に対して感度が高くなり、第２画素３６は撮像面２０ａに対して左斜め上から入射する入射光に対して感度が高くなる。
　第１，第２画素３５，３６には、画素回路３８が設けられている。画素回路３８は、第１，第２画素３５，３６のＰＤにそれぞれ蓄積された信号電荷を増幅して信号電圧として出力する。
　画素回路３８は、例えば、読み出しトランジスタ、アンプトランジスタ、スイッチトランジスタ、リセットトランジスタ等を有する。読み出しトランジスタは、ＰＤ・光電変換膜に蓄積された信号電荷を読み出す。アンプトランジスタは、読み出しトランジスタにより読み出された信号電荷を増幅し、信号電圧として出力する。スイッチトランジスタは、信号線による信号電圧の読み出しを制御する。リセットトランジスタは、ＰＤ・光電変換膜に蓄積された信号電荷をクリアする。
　また、イメージセンサ２０には、第１，第２画素３５，３６の画素回路３８等を駆動するための複数の駆動線３９と、第１～第２画素３５，３６の信号電圧を読み出すための複数の信号線４０とが形成されている。
　駆動線３９は、図中垂直方向に長く延びており、各第１～第２画素３５，３６の垂直方向の列毎にそれぞれ設けられている。各駆動線３９には、ＣＭＯＳドライバ２３が接続している。これにより、ＣＭＯＳドライバ２３は、各駆動線３９を介して各第１～第２画素３５，３６の駆動を行う。信号線４０は、図中水平方向に長く延びており、画素ライン３７毎にそれぞれ１本ずつ設けられている。これにより、画素ライン３７毎に、各第１～第２画素３５，３６の信号電圧が信号線４０に読み出される。各信号線４０に読み出された信号電圧は、図示しない出力回路やアンプを経て出力信号として画像処理回路２２へ出力される。
　図３に示すように、Ｐ型シリコンで形成された半導体基板４２（Ｐｓｕｂ）の表層に、各第１，第２画素３５，３６をそれぞれ構成するＮ型層のＰＤ４３が形成されている。半導体基板４２には、図示は省略するが画素回路３８、駆動線３９、信号線４０などが設けられている。
　半導体基板４２上には、例えば酸化シリコン（ＳｉＯ２）で形成された光透過性の絶縁膜４４が設けられている。絶縁膜４４上には、例えばタングステンで形成された遮光膜４５が設けられている。遮光膜４５は、第１画素３５のＰＤ４３上に形成された第１偏心開口４５ａと、第２画素３６のＰＤ４３上に形成された第２偏心開口４５ｂとを有する。
　第１偏心開口４５ａは、第１画素３５のＰＤ４３の中心に対して図中左方向にずれた位置に形成されている。これにより、第１画素３５のＰＤ４３の略右半分の領域（以下、単に右領域という）は遮光膜４５で覆われ、逆に略左半分の領域（以下、単に左領域という）は露呈している。一方、第２偏心開口４５ｂは、第２画素３６のＰＤ４３の中心に対して図中右方向にずれた位置に形成されている。これにより、第２画素３６のＰＤ４３の左領域は遮光膜４５で覆われ、逆に右領域は露呈している。
　遮光膜４５上には、表面が平坦な光透過性の平坦化層４７が設けられている。平坦化層４７上には、第１～第２画素３５，３６毎にそれぞれカラーフィルタ４８が設けられている。同じ組の第１，第２画素３５，３６では、カラーフィルタ４８の色が同色となる。カラーフィルタ４８上には、各第１，第２画素３５，３６の上方位置にそれぞれマイクロレンズ４９が設けられている。なお、図中の符号Ｏ２はマイクロレンズ４９の光軸である。
　第１画素３５上のマイクロレンズ４９に図中の左方向から入射した入射光５０Ｌは、遮光膜４５により遮光される。このため、入射光５０Ｌは、第１画素３５のＰＤ４３の右領域には入射しない。逆にマイクロレンズ４９に図中の右方向から入射した入射光５０Ｒは、マイクロレンズ４９により第１偏心開口４５ａを介して、第１画素３５のＰＤ４３の左領域に入射する。これにより、第１画素３５は図中の右方向からの入射光５０Ｒに対して感度が高くなる。
　第２画素３６上のマイクロレンズ４９に図中の右方向から入射した入射光５０Ｒは、遮光膜４５により遮光される。このため、入射光５０Ｒは、第２画素３５のＰＤ４３の左領域には入射しない。逆にマイクロレンズ４９に図中の左方向から入射した入射光５０Ｌは、マイクロレンズ４９により第２偏心開口４５ｂを介して、第２画素３６のＰＤ４３の右領域に入射する。これにより、第２画素３６は左方向からの入射光５０Ｌに対して感度が高くなる。
　図１に戻って、画像処理回路２２には、さらに焦点検出用画像生成部５２と、信号出力検出部５３と、位相差検出部５４とが設けられている。焦点検出用画像生成部５２は、静止画像撮像モード及び動画像撮像モードの時に作動する。焦点検出用画像生成部５２は、例えば撮像面２０ａに測距エリアとして設定された中央領域内の第１，第２画素３５，３６からの出力信号に基づき、位相差ＡＦに用いられるＲ焦点検出用画像データ、Ｌ焦点検出用画像データをそれぞれ生成する。Ｒ，Ｌ焦点検出用画像データは、合焦検出部２６に送られる。
　図４に示すように、信号出力検出部５３は、測距エリア２０ｂを通る特定の水平走査線Ｈｔ上に並んだ第１，第２画素３５，３６からの出力信号を個別に検出する。特定の水平走査線Ｈｔとは、測距エリア２０ｂのほぼ中心を通る水平線上に並んだ第１及び第２画素で構成される画素列３７に相当し、共通する特定の一水平走査期間内で出力信号の読出しがなされる。これにより、第１画素３５が複数個並んだ列と、第２画素３６が複数個並んだ列からそれぞれの出力信号が順次に弁別して読み出され、第１画素３５の列からの出力波形ＷＲと、第２画素３６の例からの出力波形ＷＬとが得られる。出力波形ＷＲ，ＷＬには、それぞれ被写体Ａ，Ｂの輝度分布に対応する信号パターンが含まれ、それぞれピークＰＡ，ＰＢをもつ。
　位相差検出部５４は、両出力波形ＷＲ，ＷＬのピークＰＡのずれ量である位相差量と、両出力波形ＷＲ，ＷＬのピークＰＢのずれ量である位相差量とを算出する。なお、図５は被写体Ｂにピントが合い、かつ被写体Ａにピントが合わない場合の出力波形ＷＲ，ＷＬの一例である。このような場合には、両出力波形ＷＲ，ＷＬのピークＰＢには位相差がほぼ検出されないが、両出力波形ＷＲ，ＷＬのピークＰＡには被写体Ｂから被写体Ａまでの距離に応じた位相差が検出される。なお、図中の符号「α」は、両出力波形ＷＲ，ＷＬのピークＰＡの位相差量である。
　また、図６に示すように、被写体Ａにピントが合って被写体Ｂにはピントが合わない場合には、両出力波形ＷＲ，ＷＬのピークＰＡには位相差がほぼ検出されないが、両出力波形ＷＲ，ＷＬのピークＰＢには被写体Ａから被写体Ｂまでの距離に応じた位相差が検出される。
　被写体Ａ，被写体Ｂのいずれにもピントが合っていない場合には、両出力波形ＷＲ，ＷＬのピークＰＡ，ＰＢとも合致せず両方に位相差が生じる。撮像を継続させながら、ピント合わせのためにフォーカスレンズ１５を仮に無限遠位置側に移動したとき、出力波形ＷＲ，ＷＬ相互間のピークＰＡの方の位相差が小さくなり、ピークＰＢの方の位相差が大きくなったとすると、フォーカスレンズ１５の移動方向は被写体Ａにピントを合わせる方向であり、被写体Ｂからはピントが外れてゆく方向であることが分かる。
　さらに、変倍レンズ１４及びフォーカスレンズ１５の現在位置はそれぞれの位置センサから識別することができるから、撮像光学系の焦点距離及び現在のフォーカスレンズ１５が合焦している被写体距離は算出することができる。従って、出力波形ＷＲ，ＷＬ相互間のピークＰＡの方の位相差に基づいて、フォーカスレンズ１５をどの程度無限遠位置側に移動させれば被写体Ａに合焦させることができるかを算出することかできる。
　なお、フォーカスレンズ１５を無限遠位置側に移動させたとき、出力波形ＷＲ，ＷＬ相互間でピークＰＡの位相差が小さくなり、ピークＰＢの位相差が大きくなったとすれば、現在合焦している被写体距離に対して被写体Ｂは前ピン位置にあり、現在のフォーカスレンズ１５の移動方向は被写体Ｂに対しては逆方向であることが分かる。
　また、図中の符号「β」は、両出力波形ＷＲ，ＷＬのピークＰＢの位相差量である。位相差検出部５４は、以上のように撮像を継続しながらフォーカスレンズ１５を移動したとき、出力波形ＷＲ，ＷＬの波形パターンに基づいて得られるピークＰＡの位相差量の検出結果、及びピークＰＢの位相差量の検出結果をＣＰＵ１１に送る。なお、位相差量の検出は必ずしもピークＰＡ，ＰＢに限られず、被写体Ａ，Ｂによる波形パターン相互の位相差であれば、各出力波形ＷＲ，ＷＬの立ち上がり部分など特異なパターン部分の相互間で位相差量を検出してもよい。
　図７に示すように、ＣＰＵ１１は、図示しないＲＯＭから読み出した各種プログラムを逐次実行することで、合焦制御部５５、被写体位置座標検出部（以下、位置座標検出部という）５６、ズーム制御部５８として機能する。
　合焦検出部２６は、変倍レンズ１４の位置に基づいて算出される撮像光学系の現時点における焦点距離と、フォーカスレンズ１５の位置に基づいて算出される現時点における合焦被写体距離、さらに前述したように逐次出力されてくる出力波形ＷＲ，ＷＬに基づいて得られる位相差量α，β及びその変化から、被写体Ａあるいは被写体Ｂに対するフォーカス調整量を算出する。そして合焦制御部５５は、合焦検出部２６が求めたフォーカス調整量に基づき、レンズドライバ２１を介しフォーカス駆動部１８を駆動してＡＦ処理を実行する。
　位置座標検出部５６は、オートフォーカスが並行して行われる動画撮像モード時やライブビュー画像表示時に作動する。位置座標検出部５６は、ＶＲＡＭ２４に格納されたＲ視点画像データ（Ｌ視点画像データ、あるいはＲ，Ｌ視点画像データの両方でも可）を解析して、ピントが合っている被写体（以下、合焦被写体という）の位置座標（Ｘ，Ｙ）を検出する。
　例えば位置座標検出部５６は、周知のパターンマッチング法や顔検出法などを用いてＲ視点画像データに含まれる全ての被写体を検出する。次いで、位置座標検出部５６は、位相差検出部５４の検出結果に基づき、特に撮像面２０ａの中央領域に含まれる被写体に関し、位相差量が最小となるピークに対応する被写体をピント合わせの対象となる被写体であると判別する。そして、位置座標検出部５６は、Ｒ視点画像内で合焦対象となっている被写体の例えば中心座標（他の座標でも可）を位置座標（Ｘ，Ｙ）として検出する。位置座標検出部５６は、ＶＲＡＭ２４に新たなＲ視点画像データが格納される度に位置座標の検出を行い、この検出結果をズーム制御部５８に逐次送る。
　ズーム制御部５８は、ズームスイッチ１２ｃが操作されたときに、レンズドライバ２１を介してズーム駆動部１７を制御し、ズームスイッチ１２ｃの操作位置（Ｔ位置／Ｗ位置）に応じて変倍レンズ１４をテレ端側あるいはワイド端側に移動させる。また、ズーム制御部５８は、動画撮像モード時やライブビュー画像表示時に合焦対象となっている被写体が別の被写体に移ったときに限って、変倍レンズ１４をテレ端側あるいはワイド端側に自動的に移動させる自動ズーム制御処理を行う。
　この自動ズーム制御処理のために、ズーム制御部５８には判定部（第１判定手段）６０と、レンズ移動量決定部６１と、自動ズーム制御部６２とが設けられている。判定部６０は、新たなＲ，Ｌ画像データがＶＲＡＭ２４に格納される度に、合焦対象となっている被写体が変更されたか否かを確認するために、以下の第１～第３条件をチェックする。
　第１条件として、判定部６０は、位置座標検出部５６が抽出した合焦被写体の位置座標（Ｘ，Ｙ）の変化量が規定の値を超えるかを判定する。具体的には、位置座標（Ｘ，Ｙ）の変化量（ΔＸ，ΔＹ）の上限値をそれぞれＸ０、Ｙ０としたときに、｜ΔＸ｜＞Ｘ０または｜ΔＹ｜＞Ｙ０が満たされたか否かを判定する。判定部６０は、上記２式のいずれも満たされていない場合には、第１条件が満たされず、合焦被写体が別の被写体に変わっていないと判定する。また、判定部６０は、上記２式のいずれかが満たされた場合には、第１条件が満たされたと判定する。
　第２条件として、判定部６０は、合焦制御部５５によるＡＦ制御を監視してフォーカスレンズ１５が無限遠位置側あるいは至近位置側に移動したか否かを判定する。判定部６０は、フォーカスレンズ１５が移動していない場合には、第２条件が満たされず、合焦被写体が別の被写体に変わっていないと判定する。また、判定部６０は、フォーカスレンズ１５が移動した場合には、第２条件が満たされたと判定する。
　第３条件として、判定部６０は、位相差検出部５４の検出結果に基づき、位相差量が最小となるピークが変わったか否かを判定する。判定部６０は、位相差量が最小となるピークが変わらない場合には、第３条件が満たされず、合焦被写体が別の被写体に変わっていないと判定する。また、判定部６０は、位相差量が最小となるピークが変わった場合には、第３条件が満たされたと判定する。
　判定部６０は、第１～第３条件の全てが満たされたときに合焦被写体が別の被写体に変わったと判定し、フォーカスレンズ１５の移動方向を含め、この判定結果をレンズ移動量決定部６１、自動ズーム制御部６２にそれぞれ送る。
　レンズ移動量決定部６１は、判定部６０からの判定結果が入力されたときに作動する。レンズ移動量決定部６１は、変倍レンズ１４の移動方向及び移動量を決定し、その結果を自動ズーム制御部６２に送る。レンズ移動量決定部６１は、フォーカスレンズ１５の移動方向に基づいて変倍レンズ１４の移動方向を決定する。具体的には、フォーカスレンズ１５が無限遠位置側に移動した場合には、変倍レンズ１４の移動方向を撮像倍率が大きくなるテレ端側に決定する。逆にフォーカスレンズ１５が至近位置側に移動した場合には、変倍レンズ１４の移動方向を撮像倍率が小さくなるワイド端側に決定する。
　また、レンズ移動量決定部６１は、位相差検出部５４の検出結果に基づき、ピントが合っていない非合焦被写体（被写体が２つの場合には、先の合焦被写体）に対応するピークの位相差量から、変倍レンズ１４の移動量を求める。具体的には、非合焦被写体に対応するピークの位相差量に所定の係数を乗じることにより、変倍レンズ１４の移動量を求める。ここで所定の係数とは、撮像光学系１３の光学特性、例えばズーム倍率やＦ値などに応じて定め、あるいは実験などにより定めることができる。これにより、非合焦被写体に対応するピークの位相差量が大きいほど、変倍レンズ１４の移動量も大きくなる。
　自動ズーム制御部６２は、判定部６０からの判定結果が入力されたときに作動する。自動ズーム制御部６２は、レンズ移動量決定部６１から入力される変倍レンズ１４の移動方向及び移動量の決定結果に基づき、レンズドライバ２１を介してズーム駆動部１７を制御して変倍レンズ１４を移動させる。
　次に、図８を用いて上記構成のデジタルカメラ１０の作用について説明を行う。なお、以下の説明では図４、図１８に示した被写体Ａ，Ｂを含む撮像シーンを動画撮像するものとする。まず、モード切替スイッチ１２ａが動画撮像モードに切り替えられる。ＣＰＵ１１は、レンズドライバ２１を介してメカシャッタ１６の動作を制御するとともに、ＣＭＯＳドライバ２３を介してイメージセンサ２０を駆動する。所定のシャッタ速度でメカシャッタ１６が開閉され、イメージセンサ２０の各第１～第２画素３５，３６のＰＤ４３に信号電荷が蓄積される。
　次いで、ＣＭＯＳドライバ２３の制御の下、各第１～第２画素３５，３６の画素回路３８によって、各ＰＤ４３に蓄積された信号電荷が信号電圧として信号線４０にそれぞれ読み出される。各信号電圧はそれぞれ出力信号として画像処理回路２２へ出力される。
　視差画像生成部２３は、各第１画素３５からの出力信号に基づきＲ視点画像データを生成し、各第２画素３６からの出力信号に基づきＬ視点画像データを生成する。画像処理回路２２はこれらＲ，Ｌ視点画像データをＶＲＡＭ２４に格納する。表示回路３３は、ＶＲＡＭ２４に格納されたＲ，Ｌ視点画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これをモニタ３２へ出力する。これにより、モニタ３２に立体視可能なライブビュー画像が表示される。
　また、焦点検出用画像生成部５２は、撮像面２０ａの中央領域に含まれる第１画素３５及び第２画素３６からの出力信号に基づき、Ｒ焦点検出用画像データ、Ｌ焦点検出用画像データを生成する。Ｒ焦点検出用画像とＬ焦点検出用画像とは、撮像光学系１３の合焦状態に応じて左右方向にシフトする。Ｒ，Ｌ焦点検出用画像データは合焦検出部２６に出力される。
　合焦検出部２６は、Ｒ，Ｌ焦点検出用画像データを解析して、Ｒ焦点検出用画像とＬ焦点検出用画像とのずれ方向及び両画像間のずれ量を検知することで撮像光学系１３のフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、合焦制御部５５はレンズドライバ２１を制御して、フォーカス駆動部１８によりフォーカスレンズ１５を移動させる。ここでは被写体Ｂにピントを合わせるために、フォーカスレンズ１５が被写体Ｂに合焦するレンズ位置（以下、Ｂレンズ位置という）に移動されたものとする。なお、このような位相差ＡＦ処理については、例えば特許第２９５９１４２号、特開２００９－１２８８９２号、特開２００７－１５８５９７号などに詳細に説明されているので、ここでは説明を省略する。
　自動ズーム制御処理は図９に示すフローチャートにしたがって実行される。動画撮像モードに設定されているときには、信号出力検出部５３と位相差検出部５４と位置座標検出部５６と判定部６０とが作動している。信号出力検出部５３は、図５に示すように、イメージセンサ２０の特定の水平走査線Ｈｔにおける各第１～第２画素３５，３６からの出力信号の出力値を検出する。これにより、測距エリア２０ｂを水平走査する間の出力波形ＷＲ，ＷＬも得られる。次いで、位相差検出部５４は、両出力波形ＷＲ，ＷＬから位相差量αと位相差量βとをそれぞれ算出して、算出結果をＣＰＵ１１に送る。被写体Ｂが合焦被写体であるので、位相差量αは検出されるが位相差量βはほぼゼロとなる。
　位置座標検出部５６は、ＶＲＡＭ２４に新たに格納されたＲ視点画像データの解析結果及び位相差検出部５４の検出結果に基づき、被写体Ｂが合焦被写体であると判別する。次いで、位置座標検出部５６は、被写体Ｂの位置座標（Ｘ，Ｙ）を検出し、この検出結果をズーム制御部５８に送る。
　判定部６０は、フォーカスレンズ１５の移動の監視結果と、位相差検出部５４の検出結果と、位置座標検出部５６の検出結果とに基づき、第１～第３条件が満たされている否かを判定する。判定部６０は、最初に位置座標検出部５６の検出結果に基づき、位置座標（Ｘ，Ｙ）の変化量（ΔＸ，ΔＹ）が｜ΔＸ｜＞Ｘ０または｜ΔＹ｜＞Ｙ０となる第１条件が満たされるか否かを判定する。
　第１条件が満たされる場合に判定部６０は、フォーカスレンズ１５が移動する第２条件が満たされたか否かを判定する。さらに、第２条件が満たされる場合に判定部６０は、位相差検出部５４の検出結果に基づき、被写体Ａに対応するピークＰＡの位相差量αが最小となる第３条件が満たされるか否かを判定する。
　合焦被写体が被写体Ｂのままである場合には、少なくとも第３条件が満たされない。また、第１条件及び第２条件が満たされない限り、第３条件が満たされることはない。このため、判定部６０は、第１～第３条件の全てが満たされない限り、合焦被写体が被写体Ｂから被写体Ａに変わったとは判定しない。以下、判定部６０により合焦被写体が被写体Ａに変わったとは判定されるまで、Ｒ，Ｌ視点画像データの生成処理、ライブビュー画像の生成処理、ＡＦ処理が繰り返し実行される。
　一方、ユーザの姿勢の変化や手ブレなどにより被写体ＡがＲ，Ｌ視点画像の中央領域に移動してしまうことがある。その結果、位相差ＡＦ処理によってフォーカスレンズ１５が被写体Ａに合焦するレンズ位置（以下、Ａレンズ位置という）に移動され、合焦被写体が被写体Ａに変わる場合がある。このような場合には、被写体Ｂの位置座標（Ｘ，Ｙ）の変化量（ΔＸ，ΔＹ）が｜ΔＸ｜＞Ｘ０または｜ΔＹ｜＞Ｙ０となるので、第１条件が満たされる。また、フォーカスレンズ１５がＢレンズ位置からＡレンズ位置に向けて無限遠位置側に移動するので第２条件も満たされる。
　さらに、合焦被写体が被写体Ｂから被写体Ａに切り替わると、測距エリア２０ｂ内の特定の水平走査線Ｈｔに沿って順次に読み出される信号の出力波形ＷＲ，ＷＬが図１０Ａに示す状態から図１０Ｂに示す状態へと変化する。すなわち、図示のように出力波形ＷＲ，ＷＬの相互間における被写体Ａについては有意の位相差量αがあり、被写体Ｂについては位相差量βがほぼゼロという状態から、被写体Ａの位相差量αがほぼゼロで、被写体Ｂには有意の位相差量βがあるという状態に変化し、この結果、第３条件も満たされるようになる。判定部６０は、第１～第３条件の全てが満たされた場合には、合焦被写体が被写体Ｂから被写体Ａに変わったと判定して、その判定結果をレンズ移動量決定部６１、自動ズーム制御部６２にそれぞれ送る。これにより、レンズ移動量決定部６１及び自動ズーム制御部６２が作動する。
　図９に戻って、レンズ移動量決定部６１は、フォーカスレンズ１５が無限遠位置側に移動した場合に、変倍レンズ１４の移動方向をテレ端側に決定する。そして、レンズ移動量決定部６１は、先の合焦被写体である被写体Ｂの位相差量βを負の値（－β）とする。次いで、レンズ移動量決定部６１は、「－β」に所定の係数を乗じることで変倍レンズ１４の移動量を求め、その結果を自動ズーム制御部６２に送る。なお、ズームレンズの移動量が負の値である場合には変倍レンズ１４をテレ端側に移動させることを示し、逆に正の値である場合には変倍レンズ１４をワイド端側に移動させることを示している。
　自動ズーム制御部６２は、レンズドライバ２１を介してズーム駆動部１７を制御し、レンズ移動量決定部６１が決定した移動量だけ変倍レンズ１４をテレ端側に向けて移動させる。これにより、撮像倍率が大きくなる。
　撮影倍率が大きくなると、モニタ３２の測距エリア２０ｂ内における被写体Ａ，Ｂの大きさも図１１Ａに示す状態から図１１Ｂに示す状態へと変化し、モニタ３２に立体視可能に表示されたライブビュー画像も全体的に拡大される。合焦被写体が被写体Ｂから被写体Ａに変わる前には、被写体Ｂの視差がほぼゼロとなり被写体Ａに視差が生じているので、被写体Ｂはモニタ画面上に位置するように見え、逆に被写体Ａはモニタ画面の奥側に引っ込むように見える。
　合焦被写体が被写体Ｂから被写体Ａに変わると、被写体Ａの視差がほぼゼロとなり被写体Ｂに視差が生じるので、被写体Ａはモニタ画面上に位置するように見え、逆に被写体Ｂはモニタ画面から飛びだすように見える。この際に、撮像倍率を大きくして被写体Ａ，Ｂを拡大表示するので、ユーザにはモニタ画面上に位置していた被写体Ｂが手前側に飛び出すように移動したのではなく、ズームミングによる画角の変化として認識させることができる。その結果、被写体Ｂが手前側に移動してきたような錯覚を生じさせることがなく、違和感のない立体画像の観察ができるようになる。
　一方、合焦被写体が被写体Ａから被写体Ｂに変わった場合には、位置座標検出部５６により検出される被写体Ａの位置座標が変わり、さらにフォーカスレンズ１５がＡレンズ位置からＢレンズ位置に移動するので、判定部６０は第１～第３条件が満たされたと判定する。この場合にはフォーカスレンズ１５が至近位置側に移動するので、レンズ移動量決定部６１は、変倍レンズ１４の移動方向を撮像倍率が小さくなるワイド端側に決定して、先の合焦被写体である被写体Ａの位相差量αを正の値（＋α）とする。次いで、レンズ移動量決定部６１は、「＋α」に所定の係数を乗じることで変倍レンズ１４の移動量を求め、その結果を自動ズーム制御部６２に送る。
　自動ズーム制御部６２は、レンズドライバ２１を介してズーム駆動部１７を制御して、レンズ移動量決定部６１が決定した移動量だけ変倍レンズ１４をワイド端側に向けて移動させる。これにより、撮像光学系１３の焦点距離は撮像倍率が小さくなるように変更される。
　合焦被写体が被写体Ａから被写体Ｂに変わると、被写体Ｂの視差がほぼゼロとなり逆に被写体Ａに視差が生じる。このため、被写体Ｂはモニタ画面上に位置するように見え、逆にモニタ画面上に位置していた被写体Ａがモニタ画面の奥側に引っ込んだように見える。この際に、撮像倍率を小さくして被写体Ａ，Ｂは縮小表示されているので、ユーザにはモニタ画面上に位置していた被写体Ａがモニタ画面の奥側に引っ込むように移動したのではなく、ワイド側へのズーミングに伴う画角の変化と同様な印象を与えることができる。その結果、被写体Ａが手前側に移動してきたような錯覚が生じることなくなり、この錯覚による違和感の発生を抑えることができる。
　図８に戻って、シャッタボタン１２ｂが押下操作されるまで、上述の位相差ＡＦ処理や自動ズーム制御処理などの各処理が繰り返し実行される。
　シャッタボタン１２ｂが押下操作されると、第１～第２画素３５，３６から１フレーム分の出力信号が一定のフレームレート（例えば、３０フレーム／秒）で画像処理回路２２に出力され、画像処理回路２２にてＲ，Ｌフレーム画像データが逐次生成される。Ｒ，Ｌフレーム画像データは、順次ＶＲＡＭ２４に格納される。これにより、上述のようにモニタ３２に立体視可能なライブビュー画像が表示される。
　圧縮伸長処理回路２９は、ＶＲＡＭ２４に順次格納されるＲ，Ｌフレーム画像データに対してデータ圧縮処理を逐次施す。データ圧縮処理が施された圧縮フレーム画像データは、メモリカード３１に所定のファイル形式で逐次記録される。また、上記の位相差ＡＦ処理と、図９に示した自動ズーム制御処理とが実行される。以下、シャッタボタン１２ｂが再度押下操作されるまで、上述の各処理が繰り返し実行される。
　シャッタボタン１２ｂが再度押下操作されると、動画撮像で得られた各圧縮フレーム画像データは、１つの動画像ファイルとしてメモリカード３１に記録される。動画撮像時にも自動ズーム制御処理を実行しているので、動画撮像により得られた画像を立体視したときに、合焦被写体が変わることにより生じる錯覚に起因する違和感が抑えられる。
　引き続き他の動画撮像を行う場合には、上述の一連の処理が繰り返し実行される。なお、デジタルカメラ１０が静止画撮像モードに設定された場合には、シャッタボタン１２ｂが押下操作されるまでの処理の流れは動画撮像モードと同じである。そして、シャッタボタン１２ｂが押下されたときにイメージセンサ２０から１フレーム分の出力信号が出力され、Ｒ，Ｌ視点画像データが生成される。Ｒ，Ｌ視点画像データは圧縮処理が施された後、静止画像ファイルとしてメモリカード３１に記録される。
［第２実施形態］
　次に、図１２を用いて本発明の第２実施形態のデジタルカメラ７０について説明を行う。上記第１実施形態では、合焦被写体が変わったときに撮像倍率を変えることで、合焦被写体の変更に伴って生じる違和感を抑えている。しかしながら、これが繰り返されると、実際の撮像倍率とユーザがズーム操作したときの撮像倍率との差が大きくなり、ユーザが不快に感じるおそれがある。そこで、デジタルカメラ７０では、自動ズーム制御処理により撮像倍率が変更された後に、合焦被写体が一定期間変わらなかった場合には撮像倍率を元の倍率に戻すようにしている。
　デジタルカメラ７０は、ＣＰＵ７１が第１実施形態のズーム制御部５８とは異なるズーム制御部７２として機能する点を除けば、第１実施形態のデジタルカメラ１０と基本的に同じ構成である。なお、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　ズーム制御部７２には、判定部６０、レンズ移動量決定部６１、及び自動ズーム制御部６２の他に、レンズ位置戻し判定部（第２判定手段）７３とレンズ位置戻し制御部７４とが設けられている。また、自動ズーム制御部６２には、レンズ位置記憶部６２ａが設けられている。自動ズーム制御部６２は、変倍レンズ１４を移動させる前に、この変倍レンズ１４の元の位置に関する情報（以下、単に移動前位置情報という）をレンズ位置記憶部６２ａに記憶させる。
　レンズ位置戻し判定部７３は、フォーカスレンズ１５が新たな合焦被写体に合焦するレンズ位置にセットされ、自動ズーム制御処理により変倍レンズ１４が移動して撮像倍率が変更された後に作動する。レンズ位置戻し判定部７３は、合焦被写体が一定期間変わらないか否かを判定する。具体的には、判定部６０と同様に、新たなＲ，Ｌ画像データがＶＲＡＭ２４に格納される度に、第１～第３条件が満たされているか否かを判定する。また、レンズ位置戻し判定部７３にはカウンタ７５が設けられている。
　レンズ位置戻し判定部７３は、第１～第３条件のいずれかが満たされていないときは、カウンタ７５のカウント値を＋１増加させる。そして、レンズ位置戻し判定部７３は、カウンタ７５のカウント値が所定の上限値に達したときに、合焦被写体が一定期間変わっていないと判定してその判定結果をレンズ位置戻し制御部７４に送る。また、これと同時にレンズ位置戻し判定部７３は、カウンタ７５のカウント値をリセットする。
　レンズ位置戻し制御部７４は、レンズ位置戻し判定部７３からの判定結果が入力されたときに作動する。レンズ位置戻し制御部７４は、レンズ位置記憶部６２ａに記憶された移動前位置情報に基づき、レンズドライバ２１を介してズーム駆動部１７を制御して、変倍レンズ１４を元のレンズ位置に戻す。また、レンズ位置戻し制御部７４は、変倍レンズ１４を元のレンズ位置に戻す際に、変倍レンズ１４の移動速度をユーザが気づきにくい緩慢な速度に調整する。
　図１３を用いて上記構成のデジタルカメラ７０の作用について説明を行う。なお、自動ズーム制御処理以外の処理、及び自動ズーム制御処理による変倍レンズ１４の移動が行われるまでの処理は、第１実施形態と同じであるので説明は省略する。ただし、自動ズーム制御部６２は、変倍レンズ１４を移動させる前にその移動前位置情報をレンズ位置記憶部６２ａに記憶させる。
　フォーカスレンズ１５が新たな被写体に合焦するレンズ位置にセットされた後、自動ズーム制御処理により変倍レンズ１４が移動されると、レンズ位置戻し判定部７３が作動する。レンズ位置戻し判定部７３は、フォーカスレンズ１５の移動の監視結果と、位相差検出部５４の検出結果と、位置座標検出部５６の検出結果とに基づき、新たなＲ，Ｌ画像データがＶＲＡＭ２４に格納される度に第１～第３条件が満たされている否かを判定する。
　レンズ位置戻し判定部７３は、第１～第３条件のいずれかが満たされない場合には、カウンタ７５のカウント値を＋１増加させる。第１～第３条件のいずれかが満たされない状態が継続すると、カウンタ７５のカウント値が増加する。そして、一定期間が経過しても合焦被写体が変わらず、第１～第３条件のいずれかが満たされない場合には、カウンタ７５のカウント値が所定の上限値に達する。
　レンズ位置戻し判定部７３は、カウンタ７５のカウント値が所定の上限値に達したときに、合焦被写体が一定期間変わっていないと判定してその判定結果をレンズ位置戻し制御部７４に送る。また、レンズ位置戻し判定部７３はカウンタ７５のカウント値をリセットする。
　レンズ位置戻し制御部７４は、レンズ位置戻し判定部７３からの判定結果の入力を受けて作動する。最初にレンズ位置戻し制御部７４は、レンズ位置記憶部６２ａに記憶された移動前位置情報を読み出す。次いで、レンズ位置戻し制御部７４は、移動前位置情報に基づき、レンズドライバ２１を介してズーム駆動部１７を制御して、変倍レンズ１４を元のレンズ位置に向けてユーザに違和感を与えないようにゆっくりと戻す。
　このように一定期間が経過しても合焦被写体が変わらない場合には変倍レンズ１４を元のレンズ位置に戻すことで、自動ズーム制御処理が繰り返し実行されたときに実際の撮像倍率とユーザのズーム操作による撮像倍率との差が大きくなることが防止される。その結果、ユーザの不快感を軽減させることができる。なお、変倍レンズ１４を元の位置に戻した後の処理は、第１実施形態と基本的に同じであるのでここでは説明を省略する。
［第３実施形態］
　次に、図１４及び図１５を用いて本発明の第３実施形態のデジタルカメラ８０について説明を行う。上記第１実施形態のデジタルカメラ１０は、変倍レンズ１４を光軸Ｏ１方向に移動させる光学ズームを行うことで撮像倍率を変化させているが、デジタルカメラ８０では撮像光学系に単焦点のものが用いられ、光学的なズームの代わりに画像データを信号処理して画像倍率を変更する電子ズームを行う。
　デジタルカメラ８０は、第１実施形態の変倍レンズ１４及びズーム駆動部１７の代わりに電子ズーム部８２が設けられている点を除けば、第１実施形態のデジタルカメラ１０と基本的に同じ構成である。なお、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　電子ズーム部８２は、ＶＲＡＭ２４に新たに格納されたＲ，Ｌ視点画像を読み出して、これらＲ，Ｌ視点画像に対して変倍処理を施す。具体的には、撮像光学系で結像された有効撮像画面よりも電子ズームの縮小倍率を考慮した小さめの画面で通常の撮像が行われ、ズーム制御部５８により指定された電子ズームの画像倍率でＲ，Ｌ視点画像のそれぞれの一部を電子的に拡大し、あるいは縮小させてＲ，Ｌ視点画像データを生成する。これにより、Ｒ，Ｌ視点画像中の被写体Ａ，Ｂの大きさが変化する。変倍後のＲ，Ｌ視点画像データは、ＶＲＡＭ２４に再び格納される。
　表示回路３３は、ＶＲＡＭ２４に格納された変倍後のＲ，Ｌ視点画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでモニタ３２へ出力する。これにより、モニタ３２にはライブビュー画像が立体視可能に表示される。また、圧縮伸長処理回路２９は、撮像指示がなされたときに電子ズーム部８２で処理された変倍後のＲ，Ｌ視点画像データに対して圧縮処理を施して、所定のファイル形式の画像ファイルを生成する。
　ズーム制御部５８は、ズームスイッチ１２ｃがズーム操作されたときに、電子ズーム部８２を制御してズーム操作で指定された画像倍率で変倍したＲ，Ｌ視点画像データを生成する。このズーム制御部５８には、第１実施形態のレンズ移動量決定部６１、自動ズーム制御部６２の変わりに画像倍率決定部８４、自動ズーム制御部８５が設けられている。
　画像倍率決定部８４は、先の実施形態と同様に、判定部６０からの判定結果が入力されたときに作動する。画像倍率決定部８４は、フォーカスレンズ１５の移動方向や位相差検出部５４の検出結果に基づき、データテーブル８６を参照して画像倍率を決定し、その結果を自動ズーム制御部８５に送る。
　データテーブル８６には、非合焦被写体（先の合焦被写体）に対応するピークの位相差量と、フォーカスレンズ１５が無限遠位置側に移動した場合の画像倍率と、フォーカスレンズ１５が至近位置側に移動した場合の画像倍率とが対応付けて格納されている。データテーブル８６では、フォーカスレンズ１５が無限遠位置側に移動した場合には画像倍率が増加し、逆にフォーカスレンズ１５が至近位置側に移動した場合には画像倍率が減少するように設定されている。また、データテーブル８６では、非合焦被写体に対応するピークの位相差量（Ｘ１＜Ｘ２＜Ｘ３・・・）が大きいほど、画像倍率の増減量（｜Ｚ１｜＜｜Ｚ２｜＜｜Ｚ３｜・・・）が大きくなるように設定されている。
　自動ズーム制御部８５は、判定部６０からの判定結果が入力されたときに作動する。自動ズーム制御部８５は、画像倍率決定部８４の決定結果に基づき、電子ズーム部８２を制御し、変倍したＲ，Ｌ視点画像データを生成させる。
　上記構成のデジタルカメラ８０の作用は、光学ズームの代わりに電子ズームを行う点を除けば基本的に第１実施形態のデジタルカメラ１０と同じである。ただし、画像倍率決定部８４は、合焦被写体が変わったと判定部６０が判定したときに、フォーカスレンズ１５の移動方向や位相差検出部５４の検出結果に基づき、データテーブル８６を参照して画像倍率を決定する。
　自動ズーム制御部８５は、電子ズーム部８２を制御して画像倍率決定部８４が決定した画像倍率で変倍したＲ，Ｌ視点画像データを生成させる。これにより、合焦被写体が被写体Ｂから被写体Ａに変わったときには画像倍率が大きくなるので、ユーザにはモニタ画面上に位置していた被写体Ｂが手前側に飛び出すように移動したのではなく、電子ズームによる画像倍率の変化であると認識させることができ、被写体が手前側に移動するときのような違和感は生じない。
　また、合焦被写体が被写体Ａから被写体Ｂに変わったときには画像倍率が小さくなるので、ユーザにはモニタ画面上に位置していた被写体Ａがモニタ画面の奥側に引っ込むように移動したのではなく、電子ズームのズーム倍率の変化であると認識させることができ、第１実施形態と同様に、錯覚による違和感の発生を抑えることができる。
［第４実施形態］
　次に、図１６を用いて本発明の第４実施形態のデジタルカメラ９０について説明を行う。このデジタルカメラ９０は、第３実施形態のデジタルカメラ８０と同様に電子ズームによる画像倍率の変更を行い、さらに電子ズームによる画像倍率の不自然な増大や減少を防ぐために、先の第２実施形態と同様の倍率戻し機能も備えている。
　デジタルカメラ９０は、実施形態３と同様に、電子ズーム部８２、画像倍率決定部８４、自動ズーム制御部９１を有し、さらにズーム倍率戻し判定部９２、及び画像倍率戻し制御部９３が設けられている。なお、上記第１～第３実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　自動ズーム制御部９１は、基本的には第３実施形態の自動ズーム制御部８５と同じものである。ただし、自動ズーム制御部９１には、画像倍率記憶部９０ａが設けられている。自動ズーム制御部９１は、電子ズーム部８２を制御して画像倍率を変える前に、元の画像倍率に関する情報（以下、単に変倍前倍率情報という）を画像倍率記憶部９０ａに記憶させる。
　画像倍率戻し判定部９２は、基本的には第２実施形態のレンズ位置戻し判定部７３と同じものである。画像倍率戻し判定部９２は、自動ズーム制御処理により画像倍率が変更された後で、合焦被写体が一定期間変わらないか否かを判定する。具体的には、第１～第３条件のいずれかが満たされていないときは、カウンタ７５のカウント値を＋１増加させて、このカウント値が所定の上限値に達したときに合焦被写体が一定期間変わっていないと判定する。
　画像倍率戻し制御部９３は、画像倍率戻し判定部９２からの判定結果が入力されたときに、画像倍率記憶部９０ａに記憶された変倍前倍率情報に基づき電子ズーム部８２を制御して、画像倍率を元の倍率に戻す。また、画像倍率戻し制御部９３は、画像倍率を元のズーム倍率に戻す際の速度をユーザが気づきにくいゆっくりとした速度に調整する。
　上記構成のデジタルカメラ９０の作用は、光学ズームの代わりに電子ズームを行う点を除けば基本的に第２実施形態のデジタルカメラ７０と同じである。ただし、デジタルカメラ９０では、合焦被写体が変わったときに画像倍率を変え、この変倍後に合焦被写体が一定期間変わらなかった場合には、画像倍率を元の倍率に少しずつ戻してゆく。これにより、第２実施形態と同様の効果が得られる。
　上記第１～第２実施形態のレンズ移動量決定部６１は、先の合焦被写体に対応するピークの位相差量に所定の係数を乗じることで変倍レンズ１４の移動量を求めている。この際に、例えば第３実施形態と同様に、位相差量と変倍レンズ１４の移動量と対応づけたデータテーブル等を参照することで変倍レンズ１４の移動量を決定してもよい。また、逆に第３～第４実施形態の画像倍率決定部８４が、位相差検出部５４が検出した位相差量に所定の係数を乗じることで画像倍率を求めるようにしてもよい。
　上記各実施形態のイメージセンサ２０では、遮光膜４５に第１～第２偏心開口４５ａ，４５ｂを形成することで、第１画素３５が入射光５４Ｒに対して感度が高くなり、かつ第２画素３６が入射光５４Ｌに対して感度が高くなる。このように遮光膜４５に第１～第２偏心開口４５ａ，４５ｂを形成する代わりに、マイクロレンズ４９をその下方のＰＤ４３の中心に対してずれた位置に形成してもよい（例えば特許２９５９１４２号参照）。
　上記各実施形態では、フォーカスレンズ１５がＡレンズ位置とＢレンズ位置の一方から他方に移動した場合に光学ズームまたは電子ズームの倍率を変えているが、被写体とは無関係に光学ズームまたは電子ズームの倍率を変えてもよい。具体的には、フォーカスレンズ１５が先の合焦位置である第１位置から次の合焦位置である第２位置に移動したとき、第１位置から第２位置への移動方向と移動量とから変倍の方向と変倍の変化量を決めてもよい。もちろん、この場合でもフォーカスレンズ１５が無限遠位置側に移動した場合には倍率を増加させ、フォーカスレンズ１５が至近位置側に移動した場合には倍率を減少させることになる。
　上記各実施形態では撮像光学系の合焦位置が移動したときに光学ズームまたは電子ズームの倍率変更が行われるが、手動でフォーカス調整を行った場合にも同様にして倍率を変えるようにしてもよい。また、上記各実施形態では、位相差ＡＦ機能を有するデジタルカメラについて説明したが、周知のコントラスト検出方式による合焦検出、及び焦点調整を行うデジタルカメラにも本発明を適用することができる。
　例えば図１７に示すように、デジタルカメラ１００は、コントラスト検出方式の合焦検出を行うためのＡＦ用レンズ移動制御部（以下、単にレンズ移動制御部という）１０１と、合焦検出部（第２合焦検出手段）１０２とを備えている。なお、デジタルカメラ１００は、コントラスト検出方式の合焦検出を行う点を除けば上記第１実施形態のデジタルカメラ１０と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　レンズ移動制御部１０１は、合焦検出時にフォーカスレンズ１５を無限遠位置または至近位置の一方から他方側に向けて移動させる。合焦検出部１０２は、フォーカスレンズ１５が移動される際に、その各レンズ位置において第１画素３５及び第２画素３６の少なくともいずれか一方より出力される出力信号から被写体像のＡＦコントラスト値（ＡＦ評価値ともいう）を算出する。そして、合焦検出部１０２は、コントラストが最も高くなる位置（ピーク位置）を合焦レンズ位置と判断し、その結果を合焦制御部５５に送る。合焦制御部５５は、レンズドライバ２１を介しフォーカス駆動部１８を作動させ、フォーカスレンズ１５を合焦レンズ位置にセットする。なお、コントラスト検出方式の合焦検出を行うＡＦ制御については、例えば特開２００８－２６２００１号などに詳細に説明されているので、ここでは詳細な説明は省略する。
　デジタルカメラ１００においても、第１実施形態と同様にＡＦ処理に伴い撮像光学系１０３の撮像倍率が変倍される自動ズーム制御が行われるので、第１実施形態と同様の効果が得られる。この際に、自動ズーム制御は、例えばフォーカスレンズ１５の移動後に行う。また、ＡＦ処理と自動ズーム制御とを交互に繰り返し実行してもよい。
　なお、上記第２～第４実施形態についても、位相差方式の合焦検出の代わりにコントラスト検出方式の合焦検出を行ってもよい。また、位相差方式の合焦検出とコントラスト検出方式の合焦検出とを組み合わせて行うハイブリッド方式の合焦検出を行ってもよい（例えば特許４６４６７０９号参照）。
　上記各実施形態では、撮像面２０ａ上に第１～第２画素３５，３６の計２種類の位相差画素が配列されているが、例えば右・左斜め上とは異なる方向からの入射光に対して感度が高くなる位相差画素を含む２種類以上の位相差画素が配列されていてもよい。この場合には２視点以上の視点画像が得られる。
　上記各実施形態では、ライブビュー画像表示時や動画撮像時になどに撮像される同一の撮像シーン内に２つの被写体Ａ，Ｂが含まれる場合について説明したが、３以上の被写体が含まれる場合にも本発明を適用することができる。
　上記各実施形態では、信号出力検出部５３や位相差検出部５４が画像処理回路２２に設けられているが、これらがイメージセンサ２０やＣＰＵなどの画像処理回路２２以外に設けられていてもよい。また、イメージセンサ２０の画素配列パターンは、図２に示したパターンに限定されるものではなく、例えばハニカム配列パターンなどの各種配列パターンで配列されていてもよい。さらに、ＣＭＯＳ型のイメージセンサを備えたデジタルカメラについて説明したが、固体撮像装置としてＣＣＤ型のイメージセンサをデジタルカメラにも本発明を適用することができる。
　１０，７０，８０，９０，１００　デジタルカメラ
　１４　変倍レンズ
　１５　フォーカスレンズ
　１７　ズーム駆動部
　１８　フォーカス駆動部
　２０　イメージセンサ
　２２　画像処理回路
　３５　第１位相差画素
　３６　第２位相差画素
　５３　信号出力検出部
　５４　位相差検出部
　５６　被写体位置座標検出部
　５８，７２　ズーム制御部
　６０　判定部
　６１　レンズ移動量決定部
　６２，８５，９１　自動ズーム制御部
　７３　レンズ位置戻し判定部
　７４　レンズ位置戻し制御部
　８２　電子ズーム部
　８４　画像倍率決定部
　８６　データテーブル
　９２　画像倍率戻し判定部
　９３　画像倍率戻し制御部

Claims (17)

  1. 　変倍レンズとフォーカスレンズとを有する撮像光学系と、
    　前記撮像光学系の光軸に関して対称な領域をそれぞれ通過して瞳分割された被写体光を撮像して、視差のある複数の視点画像を得る撮像装置と、
    　前記変倍レンズを移動して撮像光学系の撮像倍率を変化させるズーム駆動部と、
    　前記フォーカスレンズを光軸方向に移動させて撮像光学系のピントを合わせるフォーカス駆動部と、
    　前記撮像装置で複数回の撮像が行われる間に、前記撮像光学系のピント合わせ位置が無限遠位置側または至近位置側のいずれに変更されたかを判定する第１判定部と、
    　前記第１判定部の判定結果に基づいて前記ズーム駆動部を作動させ、前記撮像光学系のピント位置が無限遠位置側に変更されたときには撮像光学系の撮像倍率を大きくし、前記撮像光学系のピント位置が至近位置側に変更されたときには撮像光学系の撮像倍率を小さくするズーム制御部と、
    　を備えることを特徴とするデジタルカメラ。
  2. 　前記撮像装置は、瞳分割された被写体光をそれぞれ受光して光電変換する複数の第１画素及び第２画素が配列された撮像面を備えた固体撮像装置であり、
    　前記複数の第１画素から出力された第１出力信号と、前記複数の第２画素から出力された第２出力信号に基づき、位相差検出方式により撮像光学系の合焦検出を行う第１合焦検出部と、
    　前記第１合焦検出部の合焦検出結果に基づき、前記フォーカス駆動部により前記フォーカスレンズを合焦位置に移動させる合焦制御部、
    　を備える請求の範囲第１項記載のデジタルカメラ。
  3. 　前記撮像装置は、瞳分割された被写体光をそれぞれ受光して光電変換する複数の第１画素及び第２画素が配列された撮像面を備えた固体撮像装置であり、
    　前記フォーカス駆動部により前記フォーカスレンズが無限遠位置側または至近位置側に移動される間に、複数の前記第１画素から出力された第１出力信号と、複数の前記第２画素から出力された第２出力信号との少なくともいずれかに基づいてコントラスト検出方式により前記フォーカスレンズを合焦位置に移動させる第２合焦検出部、
    　を備える請求の範囲第１項記載のデジタルカメラ。
  4. 　複数の前記第１画素から出力された第１出力信号と、複数の前記第２画素から出力された第２出力信号とを評価し、前記第１及び第２出力信号に被写体距離が異なる第１及び第２の被写体の像による信号パターンが含まれ、前記フォーカスレンズが前記第１の被写体に合焦した位置に移動していることが識別されたときには、前記第１出力信号と第２出力信号との間における前記第２の被写体の像に基づく信号パターンのずれ量を位相差として検出する位相差検出部を備え、
    　前記ズーム制御部は、前記位相差検出部で検出された位相差に応じて撮像光学系の撮像倍率を変更する請求の範囲第２項記載のデジタルカメラ。
  5. 　前記第１及び第２出力信号が、前記固体撮像素子の特定の水平走査期間に出力される請求の範囲第４項記載のデジタルカメラ。
  6. 　前記ズーム制御部は、前記位相差検出部で検出された位相差が大きいほど撮像倍率の変化量を大きくする請求の範囲第５項記載のデジタルカメラ。
  7. 　前記撮像光学系のピント合わせ位置が変更された後、前記フォーカスレンズが停止状態にあることを判定する第２判定部を備え、
    　前記ズーム制御部は、第２判定部により前記フォーカスレンズが一定期間停止状態にあることが判定されたときには、撮像倍率をピント合わせ位置変更前の撮像倍率に戻すようにした請求の範囲第１項記載のデジタルカメラ。
  8. 　フォーカスレンズを含む撮像光学系と、
    　前記撮像光学系の光軸に関して対称な領域をそれぞれ通過して瞳分割された被写体光を撮像して、視差のある複数の視点画像を得る撮像装置と、
    　前記複数の視点画像を拡大・縮小処理する電子ズームによって前記複数の視点画像全体の大きさを変更する電子ズーム部と、
    　前記フォーカスレンズを光軸方向に移動させて撮像光学系のピントを合わせるフォーカス駆動部と、
    　前記撮像装置で複数回の撮像が行われる間に、前記撮像光学系のピント合わせが無限遠位置側または至近位置側のいずれに変更されたかを判定する第１判定部と、
    　前記第１判定部の判定結果に基づいて前記電子ズーム部を作動させ、前記撮像光学系のピント合わせが無限遠位置側に変更されたときには前記複数の視点画像を拡大し、至近位置側に変更されたときには前記複数の視点画像を縮小するズーム制御部と、
    　を備えたことを特徴とするデジタルカメラ。
  9. 　前記撮像装置は、瞳分割された被写体光をそれぞれ受光して光電変換する複数の第１画素及び第２画素が配列された撮像面を備えた固体撮像装置であり、
    　前記複数の第１画素から出力された第１出力信号と、前記複数の第２画素から出力された第２出力信号に基づき、位相差検出方式により前記撮像光学系の合焦検出を行う第１合焦検出部と、
    　前記第１合焦検出部の合焦検出結果に基づき、前記フォーカス駆動部により前記フォーカスレンズを合焦位置に移動させる合焦制御部と、
    　を備えることを特徴とする請求の範囲第８項記載のデジタルカメラ。
  10. 　前記撮像装置は、瞳分割された被写体光をそれぞれ受光して光電変換する複数の第１画素及び第２画素が配列された撮像面を備えた固体撮像装置であり、
    　前記フォーカス駆動部により前記フォーカスレンズが無限遠位置側または至近位置側に移動される間に、前記第１画素から出力された第１出力信号と前記第２画素から出力された第２出力信号との少なくともいずれかを監視しながらコントラスト検出方式により前記フォーカスレンズを合焦位置に移動させる第２合焦検出部、
    　を備える請求の範囲第８項記載のデジタルカメラ。
  11. 　前記複数の第１画素から出力された第１出力信号と、前記複数の第２画素から出力された第２出力信号とを評価し、前記第１及び第２出力信号に被写体距離が異なる第１及び第２の被写体の像による信号パターンが含まれ、前記フォーカスレンズが前記第１の被写体に合焦した位置に移動していることが識別されたときには、前記第１出力信号と第２出力信号相互間の前記第２の被写体の像に基づく信号パターンのずれ量を位相差として検出する位相差検出部を備え、
    　前記ズーム制御部は、前記位相差検出部で検出された位相差に応じて前記複数の視点画像の大きさの変化量を調整する請求の範囲第９項記載のデジタルカメラ。
  12. 　前記第１及び第２出力信号が、前記固体撮像素子の特定の水平走査期間に出力される請求の範囲第１１項記載のデジタルカメラ。
  13. 　前記ズーム制御部は、前記位相差検出部で検出された位相差が大きいほど前記複数の視点画像の大きさの変化量を大きくする請求の範囲第１１項記載のデジタルカメラ。
  14. 　前記撮像光学系のピント合わせが変更された後、前記フォーカスレンズが停止状態にあることを判定する第２判定部を備え、
    　前記ズーム制御部は、第２判定部により前記フォーカスレンズが一定期間停止状態にあることが判定されたときには、前記被写体像の大きさを変化前の元の大きさに戻すことを特徴とする請求項第８項記載のデジタルカメラ。
  15. 　前記位相差検出部は、前記第１出力信号と第２出力信号に含まれる前記第１の被写体の像による信号パターンが、前記第１出力信号と第２出力信号相互間でのずれ量が略ゼロであることをもって前記フォーカスレンズが前記第１の被写体に合焦した位置に移動していることを識別する請求の範囲第４項または第１１項記載のデジタルカメラ。
  16. 　前記位相差検出部は、前記第１出力信号と第２出力信号に含まれる前記第１または第２の被写体の像による信号パターンのずれ量を、それぞれの信号パターンのもつピーク相互間のずれ量で検出する請求の範囲第１５項記載のデジタルカメラ。
  17. 　前記複数の視点画像を立体視可能に表示するモニタを備えた請求の範囲第１項ないし第１６項のいずれか記載のデジタルカメラ。
PCT/JP2012/073453 2011-09-28 2012-09-13 デジタルカメラ WO2013047220A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011212505A JP2014238425A (ja) 2011-09-28 2011-09-28 デジタルカメラ
JP2011-212505 2011-09-28

Publications (1)

Publication Number Publication Date
WO2013047220A1 true WO2013047220A1 (ja) 2013-04-04

Family

ID=47995253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/073453 WO2013047220A1 (ja) 2011-09-28 2012-09-13 デジタルカメラ

Country Status (2)

Country Link
JP (1) JP2014238425A (ja)
WO (1) WO2013047220A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770622A (zh) * 2017-06-21 2020-02-07 富士胶片株式会社 摄像装置及移动摄像装置
WO2023210940A1 (ko) * 2022-04-26 2023-11-02 삼성전자 주식회사 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160944A (ja) * 1992-09-22 1994-06-07 Nikon Corp 被写体追尾装置を有するカメラ及び 自動ズーム装置を有するカメラ
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2007317951A (ja) * 2006-05-26 2007-12-06 Nikon Corp 光検出素子および撮像装置
JP2010139563A (ja) * 2008-12-09 2010-06-24 Nikon Corp 焦点検出装置、焦点調節装置、撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160944A (ja) * 1992-09-22 1994-06-07 Nikon Corp 被写体追尾装置を有するカメラ及び 自動ズーム装置を有するカメラ
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2007317951A (ja) * 2006-05-26 2007-12-06 Nikon Corp 光検出素子および撮像装置
JP2010139563A (ja) * 2008-12-09 2010-06-24 Nikon Corp 焦点検出装置、焦点調節装置、撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770622A (zh) * 2017-06-21 2020-02-07 富士胶片株式会社 摄像装置及移动摄像装置
WO2023210940A1 (ko) * 2022-04-26 2023-11-02 삼성전자 주식회사 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
JP2014238425A (ja) 2014-12-18

Similar Documents

Publication Publication Date Title
US8599245B2 (en) Image processing apparatus, camera, and image processing method
JP5640143B2 (ja) 撮像装置及び撮像方法
JP5368350B2 (ja) 立体撮像装置
US20110234767A1 (en) Stereoscopic imaging apparatus
JP5469258B2 (ja) 撮像装置および撮像方法
JP5269252B2 (ja) 単眼立体撮像装置
JP5788518B2 (ja) 単眼立体撮影装置、撮影方法及びプログラム
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
US20110109727A1 (en) Stereoscopic imaging apparatus and imaging control method
JP5433109B2 (ja) 立体撮像装置および立体撮像方法
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに３次元情報取得装置
JP2005167310A (ja) 撮影装置
TW201200959A (en) One-eyed stereo photographic device
US20130107019A1 (en) Imaging device, image processing device and image processing method
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
US9310672B2 (en) Stereoscopic image capturing device and method of controlling thereof
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
WO2013047220A1 (ja) デジタルカメラ
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP6004741B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP2012015620A (ja) 立体撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
JP2017163412A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
WO2015163350A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JPWO2012001958A1 (ja) 画像処理装置および方法並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836261

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12836261

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP