WO2013038863A1 - 単眼立体撮影装置、撮影方法及びプログラム - Google Patents

単眼立体撮影装置、撮影方法及びプログラム Download PDF

Info

Publication number
WO2013038863A1
WO2013038863A1 PCT/JP2012/070736 JP2012070736W WO2013038863A1 WO 2013038863 A1 WO2013038863 A1 WO 2013038863A1 JP 2012070736 W JP2012070736 W JP 2012070736W WO 2013038863 A1 WO2013038863 A1 WO 2013038863A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
subject
distance information
amount
distance
Prior art date
Application number
PCT/JP2012/070736
Other languages
English (en)
French (fr)
Inventor
貴嗣 青木
沢地　洋一
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280044391.6A priority Critical patent/CN103874960B/zh
Priority to JP2013533577A priority patent/JP5788518B2/ja
Publication of WO2013038863A1 publication Critical patent/WO2013038863A1/ja
Priority to US14/205,522 priority patent/US9462252B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to a monocular three-dimensional imaging device, an imaging method, and a program, and in particular, subject images that have passed through different areas of a single imaging optical system are respectively imaged on an imaging device, and an image for a left eye and an image for a right eye
  • the present invention relates to a monocular stereoscopic imaging apparatus, an imaging method, and a program for acquiring an image.
  • Patent Document 1 discloses a monocular stereoscopic imaging device.
  • a subject image that has passed through different regions in the left-right direction of the main lens and the relay lens is divided into pupils by a mirror, and each image is formed on an image sensor via an imaging lens.
  • the focused image is formed (matched) at the same position on the image sensor, but the front and rear pin images are formed at different positions on the image sensor. Do (separate). Therefore, by acquiring a subject image that is pupil-divided in the left-right direction via an image sensor, a left viewpoint image and a right viewpoint image having different parallaxes according to the subject distance are acquired, and the acquired left viewpoint image and right viewpoint A three-dimensional image can be displayed using the image.
  • the monocular stereoscopic imaging device described in Patent Document 1 has a problem in that the stereoscopic effect is automatically determined depending on the distance of the subject, and an appropriate stereoscopic effect may not be obtained.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a monocular stereoscopic imaging apparatus, an imaging method, and a program capable of imaging with an appropriate stereoscopic effect.
  • a monocular stereoscopic imaging device acquires a plurality of images by receiving a single imaging optical system and a light beam that has passed through different areas of the imaging optical system.
  • An imaging device that can change an aperture value, distance information acquisition means for obtaining a distribution of distance information of a subject included in a plurality of images based on a plurality of images, and a parallax adjustment based on the distribution of the distance information
  • control means for controlling the aperture value so that the parallax amount of the target image region is within a predetermined range.
  • the amount of parallax that does not exceed 50 mm on the display is the amount of parallax within a predetermined range.
  • the “distance information of subjects included in a plurality of images based on a plurality of images” referred to here includes information on parallax.
  • the distribution of distance information of subjects included in a plurality of images obtained by receiving light beams that have passed through different areas of a single imaging optical system is obtained.
  • the aperture value is controlled so that the amount of parallax of the image region that is subject to parallax adjustment is within the predetermined range based on the distribution of the distance information.
  • the distance information acquisition unit calculates distance information for each pixel of the reference image that is a predetermined single image among the plurality of images, and uses the first axis as the first axis.
  • the distance information is a histogram with the number of pixels on the second axis, the distance information is divided into a plurality of classes for each distance range, and the calculated distance information is the number of pixels in each class range as frequency A histogram may be created. As a result, it is possible to clarify how much of the subject distance the subject occupies.
  • the distance information acquisition unit divides a reference image, which is a predetermined one image among a plurality of images, into a plurality of regions, and for each divided region.
  • a histogram in which distance information is calculated, the distance information is on the first axis, and the number of areas is on the second axis.
  • the distance information is divided into a plurality of classes for each distance range, and the calculated distance information is the range of each class. You may create the histogram which made the number of the area
  • the distance information acquisition unit calculates distance information for each pixel of the reference image, and calculates an average value of the distance information of the pixels included in the area for each divided area. By calculating, distance information for each of a plurality of regions may be calculated.
  • the distance information acquisition unit performs distance matching by performing pattern matching processing between the reference image and an image other than the reference image among the plurality of images. It may be calculated.
  • the control means includes, in the histogram, between the subject distance of the focused subject and the subject distance having a near-side peak (direction approaching the camera), and The aperture value is controlled by setting at least one of the subject distance of the focused subject and the subject distance having a histogram peak on the far side (in the direction away from the camera) as an image area to be subjected to parallax adjustment. May be.
  • the histogram between the subject distance of the focused subject and the subject distance having a near peak, and the subject distance having a histogram peak on the far side and the subject distance of the focused subject. Can be adjusted appropriately.
  • control unit is configured to focus on a subject that has the largest area on the near side than the subject that is in focus and a subject that is in focus.
  • the aperture value may be controlled by setting at least one of the subjects having the widest area farther than the subject that is in focus as an image region to be subjected to parallax adjustment.
  • the subject having the largest area on the far side than the subject that is in focus and the subject having the largest area on the far side than the subject that is in focus, or the subject that is in focus with the subject that is in focus It is possible to appropriately adjust at least one of the parallax amount with the subject having the largest area on the near side and the parallax amount with the subject having the widest area on the far side from the focused subject and the subject in focus. it can.
  • the control means includes an image region that is subject to parallax adjustment for a region that is included in a class having a histogram frequency equal to or greater than a threshold value among the plurality of divided regions. May be determined. As a result, it is possible to determine a subject that is subject to parallax adjustment for only a subject that occupies a predetermined range in the image.
  • the control unit controls the aperture value so that the amount of parallax between the focused subject and the image region to be subjected to parallax adjustment is within a certain value range. You may make it. Thereby, at least one of the amount of parallax in the protruding direction and the amount of parallax in the depth direction can be made appropriate.
  • the distance information acquisition unit may calculate the distance information with different weights depending on the position of the image. As a result, a stereoscopic parallax image more suitable for the photographer's intention can be captured.
  • the imaging optical system includes a focus lens, and the control unit focuses so that the parallax of the image area targeted for parallax adjustment is a parallax amount within a predetermined range.
  • the lens may be moved. As a result, the amount of parallax can be adjusted even when the adjustment cannot be made only with the aperture value.
  • a step of receiving a light beam that has passed through different areas of a single imaging optical system and acquiring a plurality of images, and a plurality of images based on the plurality of images Obtaining the distribution of the distance information of the subject included in the image, and controlling the aperture value of the aperture so that the parallax amount of the image area to be subjected to parallax adjustment becomes a parallax amount within a predetermined range based on the distribution of the distance information And a step.
  • a step of receiving a light beam that has passed through different areas of a single photographing optical system to acquire a plurality of images, and a plurality of images based on the plurality of images Determining the distance information distribution of the subject, and controlling the aperture value of the aperture so that the parallax amount of the image area to be subjected to parallax adjustment is within a predetermined range based on the distribution of distance information; This is characterized by causing an arithmetic unit to execute.
  • Block diagram of a stereoscopic camera The figure which shows the structural example of a phase difference image sensor A diagram showing the main and second pixels one by one 4A and 4B are enlarged views of main parts of FIG. The figure which shows the relationship between object distance and the amount of parallax
  • An example of shooting target Example of area division Histogram showing distance distribution when the subject of FIG.
  • Example of reference image data The flowchart which shows the flow of the parallax amount adjustment process in 2nd Embodiment. Histogram showing the distribution of distance information in the second embodiment
  • FIG. 1 is a block diagram showing an embodiment of a monocular stereoscopic imaging device 10 according to the present invention.
  • This monocular three-dimensional imaging device 10 is a digital camera that receives light that has passed through a lens with an imaging device, converts it into a digital signal, and records it on a storage medium. Is done.
  • the monocular stereoscopic imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the monocular stereoscopic imaging device 10 based on the input signal. For example, lens driving control, aperture driving control, imaging operation control, image processing control, Image data recording / reproduction control, display control of the liquid crystal monitor 30 for stereoscopic display, and the like are performed.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • Mode dial is selected to select 2D shooting mode, 3D shooting mode, auto shooting mode, manual shooting mode, scene position such as person, landscape, night view, macro mode, movie mode, parallax priority shooting mode according to the present invention Means.
  • the playback button is a button for switching to a playback mode in which a captured and recorded 3D image, a still image or a moving image of a 2D image is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the image light indicating the subject is imaged on the light receiving surface of the phase difference CCD 16 which is a solid-state image sensor through the photographing optical system 12 including the focus lens and the zoom lens, and the diaphragm 14.
  • the photographing optical system 12 is driven by a lens driving unit 36 controlled by the CPU 40, and performs focus control, zoom control, and the like.
  • the diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by the diaphragm driving unit 34 controlled by the CPU 40.
  • the diaphragm 14 is controlled in six stages from the aperture values F1.4 to F11 in increments of 1AV.
  • the CPU 40 performs charge accumulation time (shutter speed) in the phase difference CCD 16, image signal readout control from the phase difference CCD 16, and the like via the CCD control unit 32.
  • FIG. 2 is a diagram showing a configuration example of the phase difference CCD 16 (monocular three-dimensional image element).
  • the phase difference CCD 16 has pixels of odd lines (first pixels) and pixels of even lines (second pixels) arranged in a matrix, respectively.
  • the converted image signals for the two planes can be read out independently.
  • FIG. 3 is a diagram showing each of the imaging optical system 12, the diaphragm 14, and the first pixel PDa and the second pixel PDb of the phase difference CCD 16, and FIGS. 4A and 4B are enlarged views of the main part of FIG. is there.
  • the light beam passing through the exit pupil enters the normal CCD pixel (photodiode PD) through the microlens L without being restricted.
  • a light shielding member 16A is formed in the first pixel PDa and the second pixel PDb of the phase difference CCD 16, and the light receiving surfaces of the first pixel PDa and the second pixel PDb are formed by the light shielding member 16A. Is shielded from light. That is, the light shielding member 16A functions as a pupil division member.
  • the phase difference CCD 16 having the above-described configuration is configured so that the first pixel PDa and the second pixel PDb have different regions (right half and left half) where the light beam is limited by the light shielding member 16A.
  • the light blocking member 16A is not provided, and the microlens L and the photodiode PD (PDa, PDb) are relatively shifted in the left-right direction, and the light flux incident on the photodiode PD is limited by the shifting direction.
  • one microlens may be provided for two pixels (the first pixel and the second pixel) to limit the light flux incident on each pixel.
  • the signal charge accumulated in the phase difference CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD control unit 32.
  • the voltage signal read from the phase difference CCD 16 is applied to the analog signal processing unit 18 where the R, G, B signals for each pixel are sampled and held, and with a gain (corresponding to ISO sensitivity) designated by the CPU 40. After being amplified, it is added to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs gain control processing including gamma correction processing, gamma correction processing, synchronization processing, YC processing for digital image signals input via the image input controller 22, including offset processing, white balance correction, and sensitivity correction. Then, predetermined signal processing such as sharpness correction is performed.
  • the EEPROM 56 is a nonvolatile memory that stores a camera control program, defect information of the phase difference CCD 16, various parameters and tables used for image processing, a program diagram, a plurality of parallax priority program diagrams according to the present invention, and the like. Memory.
  • the reference image data read out from the first pixel of the odd-numbered line of the phase difference CCD 16 is processed as the left viewpoint image data, and from the second pixel of the even-numbered line.
  • the read reference image data is processed as right viewpoint image data.
  • the left viewpoint image data and right viewpoint image data (three-dimensional image data) processed by the digital signal processing unit 24 are input to the VRAM 50.
  • the VRAM 50 includes an A area and a B area for storing three-dimensional image data each representing a three-dimensional image for one frame.
  • three-dimensional image data representing a three-dimensional image for one frame is rewritten alternately in the A area and the B area.
  • the written three-dimensional image data is read from an area other than the area in which the three-dimensional image data is rewritten in the A area and the B area of the VRAM 50.
  • the three-dimensional image data read from the VRAM 50 is encoded by the video encoder 28 and output to a stereoscopic display liquid crystal monitor 30 (LCD) provided on the back of the camera, whereby a three-dimensional subject image is displayed on the liquid crystal monitor.
  • LCD stereoscopic display liquid crystal monitor
  • the liquid crystal monitor 30 is a stereoscopic display unit that can display stereoscopic images (left viewpoint image and right viewpoint image) as directional images having predetermined directivities by a parallax barrier, but is not limited thereto, and is not limited thereto.
  • the left viewpoint image and the right viewpoint image may be viewed separately by using a lens, or by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses.
  • the phase difference CCD 16 starts the AF operation and the AE operation, and the focus in the photographing optical system 12 via the lens driving unit 36. Control the lens so that it is in the in-focus position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE / AWB detection unit 44.
  • the AE / AWB detection unit 44 integrates the G signals of the entire screen, or integrates the G signals that are weighted differently in the central part and the peripheral part of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting EV value) from the integrated value input from the AE / AWB detection unit 44, and based on this shooting EV value, the aperture value of the diaphragm 14 and the electronic shutter (shutter speed of the phase difference CCD 16).
  • the aperture 14 is controlled via the aperture driving unit 34 based on the determined aperture value
  • the phase difference CCD 16 is controlled via the CCD control unit 32 based on the determined shutter speed. To control the charge accumulation time.
  • the AE / AWB detection unit 44 divides one screen into a plurality of areas (for example, 16 ⁇ 16) as physical quantities necessary for AWB control, and the color of the R, G, and B image signal for each divided area. Calculate another average integrated value.
  • the CPU 40 obtains the ratio of R / G and B / G for each divided area from the obtained integrated value of R, integrated value of B, and integrated value of G, and R of the calculated R / G and B / G values.
  • the light source type is discriminated based on the distribution in the color space of / G and B / G.
  • a gain value (white balance correction value) for the R, G, and B signals of the white balance adjustment circuit is determined.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase AF processing.
  • a high frequency component of image data in a predetermined focus area (hereinafter referred to as an AF area) is extracted from at least one of the left viewpoint image data and the right viewpoint image data.
  • An AF evaluation value indicating the in-focus state is calculated by integrating the high frequency component.
  • AF control is performed by controlling the focus lens in the photographic optical system 12 so that the AF evaluation value is maximized.
  • the calculation of the AF evaluation value may use the G signal, or may use another image signal such as a luminance signal (Y signal).
  • the phase difference between the image data corresponding to the first pixel and the second pixel in the predetermined AF area of the left viewpoint image data and the right viewpoint image data is detected, and this A defocus amount is obtained based on information indicating the phase difference.
  • AF control is performed by controlling the focus lens in the photographing optical system 12 so that the defocus amount becomes zero.
  • the AF area is set, for example, in the center of the screen, but the entire screen may be the AF area, or a region near a desired subject (for example, a face) may be the AF area. Since the method for detecting a face is already known, the description thereof is omitted.
  • FIG. 5 is a graph showing the relationship between the distance to the subject (hereinafter referred to as the subject distance) and the parallax, and is a graph of different F values when the subject at the position of 1 m is in focus.
  • the parallax amount of the subject at 3 m is compared with the parallax amount of the subject at 10 m, and the parallax amount b of the subject at 10 m is greater than the parallax amount a of the subject at 3 m. Is bigger. Therefore, depending on the subject distance, the case where the amount of parallax is not appropriate may occur.
  • the amount of parallax exceeds a certain level, it becomes difficult to see, and when the amount of parallax falls below a certain level, it is difficult to obtain a three-dimensional effect.
  • the parallax amount of 0 means that there is no parallax, that is, the image is displayed at the position on the surface of the liquid crystal monitor 30.
  • the parallax amount + means a parallax in the depth direction from the surface of the liquid crystal monitor 30, and the parallax amount ⁇ means a parallax in the protruding direction (near side) from the surface of the liquid crystal monitor 30.
  • the amount of parallax varies depending on the F value even at the same subject distance.
  • the range of the subject distance to be focused is widened.
  • the light flux incident on the phase difference CCD 16 is increased, that is, the F value is decreased, the range of the subject distance to be focused is narrowed. Therefore, as shown in FIG. 5, as the F value increases, the shape of the graph becomes gentle, that is, the amount of parallax between the base image and the reference image decreases. Further, the smaller the F value, the steeper the shape of the graph, that is, the larger the amount of parallax between the base image and the reference image.
  • the subject at 1 m is in focus.
  • the horizontal axis intersects at 3 m.
  • the graph of FIG. 5 is translated in the right direction.
  • the image data for two images of the left-eye image (reference image) and the right-eye image (reference image) are input from the image input controller 22 to the memory (SDRAM) 48 and temporarily stored.
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, where predetermined signals including generation processing (YC processing) of luminance data and color difference data of the image data are performed. Processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again. Subsequently, the two pieces of YC data are respectively output to the compression / decompression processing unit 26, subjected to predetermined compression processing such as JPEGJ (joint photographic experts group), and then stored in the memory 48 again.
  • a multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated from two pieces of YC data (compressed data) stored in the memory 48, and the MP file is read by the media controller 52. And recorded on the memory card 54.
  • MP file a file in a format in which a plurality of images are connected
  • the AF operation is not only performed when the shutter button is pressed (half-pressed) in the first stage, but also image data for two images of the left-eye image and the right-eye image, that is, right-eye image data, left This is also performed when image data for an eye is continuously photographed.
  • Examples of the case where the right-eye image data and the left-eye image data are continuously photographed include a case where a live view image (through image) is photographed and a case where a moving image is photographed.
  • the AF processing unit 42 repeatedly calculates the AF evaluation value or detects the phase difference while continuously capturing the right-eye image data and the left-eye image data. Continuous AF for continuously controlling the focus lens position is performed.
  • the subject light that has passed through the photographing optical system 12 is imaged on the light receiving surface of the phase difference CCD 16 through the diaphragm 14.
  • the signal charges stored in the first pixel and the second pixel of the phase difference CCD 16 by the CCD control unit 32 are sequentially read out at a predetermined frame rate as a voltage signal (image signal) corresponding to the signal charge, and analog signal processing is performed.
  • the image data is sequentially input to the digital signal processing unit 24 via the unit 18, the A / D converter 20, and the image input controller 22, and the left-eye image data and the right-eye image data are sequentially generated.
  • the generated left-eye image data and right-eye image data are sequentially input to the VRAM 50.
  • the CPU 40 changes the aperture value (F value) that is the aperture amount of the aperture 14 via the aperture drive unit 34 based on the left-eye image data and the right-eye image data. Further, the CPU 40 performs zooming via the lens driving unit 36 in response to an input from the operation unit 38.
  • the photographer can confirm the angle of view by viewing the image (live view image) displayed on the liquid crystal monitor 30 in real time.
  • an S1 ON signal is input to the CPU 40, and the CPU 40 performs an AE / AF / AWB operation via the AF processing unit 42 and the AE / AWB detection unit 44.
  • FIG. 6 shows the flow of parallax amount adjustment processing for controlling the aperture value (F value) so that the parallax amount between the subject closest to the photographer and the subject farthest from the photographer is appropriate after the AE / AF / AWB operation. It is a flowchart which shows. This process is mainly performed by the CPU 40.
  • step S10 determines whether or not the AF process has been completed. If not completed (NO in step S10), step S10 is performed again.
  • step S10 the subject distance of the focused subject is obtained (step S11).
  • the subject distance of the subject in focus can be calculated from the position of the focus lens. Thereby, the graph which shows the relationship between the distance and the amount of parallax shown in FIG. 5 is decided.
  • step S12 creates a histogram of distance frequency (step S12).
  • the process in step S12 will be described by taking as an example the case of shooting the subject shown in FIG.
  • the CPU 40 calculates the subject distance for each pixel of the standard image data (or reference image data, the same applies hereinafter).
  • the subject distance can be obtained from the phase difference obtained by performing the pattern matching process between the standard image and the reference image. Further, it can be obtained by performing division ranging for each pixel.
  • the CPU 40 also functions as a distance information acquisition unit, and creates a histogram using the created data.
  • FIG. 9 (8) is a histogram when the subject shown in FIG. 7 is photographed.
  • the horizontal axis is the subject distance and is divided into a plurality of classes.
  • the vertical axis represents the number of pixels in which the calculated subject distance for each pixel is in the range of each class.
  • the subject is mainly composed of three in-focus positions (person A), a subject at a short distance (flower B), and a subject at a long distance (background C).
  • the method of creating a histogram is not limited to this.
  • the reference image data is divided into a plurality of areas, and the average value of the subject distance calculated for each pixel is calculated for each area, thereby creating the data used as the basis of the histogram.
  • a histogram may be created based on this data.
  • the vertical axis represents the number of regions where the calculated average value is in the range of each class.
  • the horizontal axis is the subject distance.
  • the subject distance of the region may be calculated based on the subject distance calculated for each pixel, or may be calculated based on the phase difference of the region.
  • the phase difference between regions can be calculated by performing pattern matching between the standard image data and the reference image data.
  • the CPU 40 searches for the most frequent class that peaks on the near side (direction approaching the camera) from the in-focus distance (the subject distance of the in-focus subject) based on the histogram (step S13). In the case shown in FIG.
  • the CPU 40 selects a pixel having a subject distance within the range searched in step S13 from the standard image data and the reference image data, and sets a rectangular area Ln including the pixel (step S14). As a result, the closest subject as a target for parallax adjustment is set.
  • a rectangular area L ⁇ including pixels within the subject distance range of ⁇ in FIG. 9 is set.
  • the CPU 40 calculates an average value (average parallax amount) Pn of the parallax amount of each pixel included in the rectangular area Ln set in step S14 (step S15).
  • the parallax amount is a shift amount of the target pixel between the first pixel data and the second pixel data, and is represented by the number of pixels. For example, if the center of the flower in the first pixel data and the center of the flower in the second pixel data are shifted by 5 pixels, the amount of parallax is 5 pixels. Note that Pn is obtained as an absolute value of the amount of parallax.
  • the CPU 40 confirms whether or not Pn calculated in step S15 is within a preset range of the parallax amounts a and at1 (step S16). That is, it is confirmed whether the amount of parallax between the focused subject and the closest subject is within the range of the constant amount of parallax a and at ⁇ t1.
  • the parallax amount a is set to a predetermined value within the stereoscopic fusion range.
  • the stereoscopic fusion range is a parallax amount that allows an image viewer to comfortably stereoscopically view, and is a range in which excessive parallax or divergent parallax does not occur. These are set mainly from conditions such as the screen size and viewing distance of the stereoscopic display device.
  • the CPU 40 opens the diaphragm 14 by one stage via the diaphragm driving unit 34 and increases the amount of parallax (step S17). Also, if Pn is not within the preset range of parallax amount a and a ⁇ t1 (NO in step S16) and Pn is larger than the parallax amount a, the stereoscopic effect is too strong. The CPU 40 closes the diaphragm 14 by one stage via the diaphragm driving unit 34 and reduces the amount of parallax (step S18).
  • step S19 it is determined whether or not the aperture 14 has reached the limit aperture value (step S19). If it is not the limit aperture value (NO in step S19), the parallax amount can be adjusted, so the process returns to step S15 and the parallax amount is confirmed again.
  • the CPU 40 When Pn is within the range of the preset parallax amounts a and a ⁇ t1 (YES in step S16) and when it is a limit aperture value (YES in step S19), the CPU 40 focuses on the basis of the histogram. The most frequent class that peaks on the far side (the direction away from the camera) from the distance is searched (step S20). In the case shown in FIG. The CPU 40 selects a pixel having a subject distance within the range searched in step S20 from the standard image data and the reference image data, and sets a rectangular area Lf including the pixel (step S21). As a result, the farthest subject is set as the parallax adjustment target. Assuming that the first pixel data obtained by photographing the subject shown in FIG. 7 is FIG. 10, in FIG. 10, a rectangular area L ⁇ including pixels within the subject distance range of FIG. 9 ⁇ is set.
  • step S22 calculates the average value (average parallax amount) Pf of the parallax amount of each pixel included in the rectangular area Lf set in step S21 (step S22).
  • the calculation of the amount of parallax is the same as in step S15.
  • Pf is obtained as an absolute value of the amount of parallax.
  • the CPU 40 confirms whether or not Pf calculated in step S22 is equal to or less than a preset parallax amount b (step S23). That is, it is confirmed whether the parallax amount between the focused subject and the farthest subject is equal to or smaller than the parallax amount b.
  • the parallax amount b is set to a predetermined value within the stereoscopic fusion range.
  • step S23 If Pf is not less than or equal to the preset parallax amount b (NO in step S23), the stereoscopic effect is too strong. Therefore, to reduce the parallax amount, the aperture value of the aperture 14 is set via the aperture drive unit 34. Is closed by one stage (step S24). As a result, it is determined whether or not the aperture 14 has reached the limit aperture value (step S25). If it is not the limit aperture value (NO in step S25), the amount of parallax can be adjusted, so the process returns to step S22 and the amount of parallax is confirmed again.
  • the parallax amount between ⁇ and ⁇ in FIG. 9, that is, the parallax amount between the closest subject and the farthest subject can be within a predetermined range.
  • the amount of change of the parallax amount due to the aperture fluctuates greatly as the distance is short. Therefore, in this embodiment, the parallax on the short distance side is preferentially adjusted.
  • an S2 ON signal is input to the CPU 40, and the CPU 40 starts photographing and recording processing. That is, the phase difference CCD 16 is exposed with the shutter speed and aperture value determined based on the photometric result.
  • Two pieces of image data respectively output from the first pixel and the second pixel of the phase difference CCD 16 are taken into the VRAM 50 via the analog processing unit 60, the A / D converter 20, and the image input controller 22. After being converted into a luminance / color difference signal in the processing unit 64, it is stored in the VRAM 50.
  • the left-eye image data stored in the VRAM 50 is added to the compression / decompression processing unit 26, compressed according to a predetermined compression format (for example, JPEG format), and then stored in the VRAM 50.
  • An MP file is generated from the two compressed data stored in the VRAM 50, and the MP file is recorded on the memory card 54 via the media controller 2. As a result, a stereoscopic image is captured and recorded.
  • the monocular stereoscopic imaging device 10 can capture both a two-dimensional image and a stereoscopic image.
  • photographing a two-dimensional image it is only necessary to perform photographing using only the first pixel of the phase difference CCD 16. Since the details of the photographing process are the same as those for photographing a stereoscopic image, description thereof is omitted.
  • the image recorded on the memory card 54 as described above can be reproduced and displayed on the liquid crystal monitor 30 by setting the mode of the monocular stereoscopic imaging device 10 to the reproduction mode with the reproduction button.
  • the CPU 40 When the playback mode is set, the CPU 40 outputs a command to the media controller 52 to read out the image file recorded last on the memory card 54.
  • the compressed image data of the read image file is added to the compression / decompression processing unit 26, decompressed to an uncompressed luminance / color difference signal, and then output to the liquid crystal monitor 30 via the video encoder 28.
  • the frame advance of the image is performed by operating the left and right keys of the cross key, and when the right key of the cross key is pressed, the next image file is read from the memory card 54 and reproduced and displayed on the liquid crystal monitor 30.
  • the left key of the cross key is pressed, the previous image file is read from the memory card 54 and reproduced and displayed on the liquid crystal monitor 30.
  • the amount of parallax between the subject farthest from the photographer and the closest subject can be made appropriate.
  • the parallax amount Pn of the subject closer to the front is adjusted and the parallax amount Pf of the subject farther is adjusted later.
  • the parallax amount of the subject farther away is adjusted, and the parallax of the subject closer to the rear is adjusted. The amount may be adjusted.
  • the amount of parallax between the subject farthest from the photographer and the subject closest to the photographer is made appropriate. Is not limited to this.
  • the second embodiment of the present invention is a mode in which a subject to be subjected to parallax adjustment is determined only for a subject that occupies a predetermined range in each of the standard image and the reference image.
  • the monocular stereoscopic imaging device 10-1 according to the second embodiment will be described. Note that description of the same parts as those of the first embodiment is omitted.
  • FIG. 11 shows the parallax amount between the subject closest to the photographer and the subject farthest from the photographer among the subjects occupying a predetermined range in the base image and the reference image after the AE / AF / AWB operation. It is a flowchart which shows the flow of the parallax amount adjustment process which controls F value so that it may become appropriate. This process is mainly performed by the CPU 40.
  • step S10 determines whether or not the AF process has been completed. If not completed (NO in step S10), step S10 is performed again. When the AF process is completed (YES in step S10), the subject distance of the focused subject is obtained (step S11).
  • the CPU 40 creates a histogram of distance frequency that is the distribution of distance information (step S12).
  • the CPU 40 which also functions as a control unit that controls the parallax amount of the image area that is the target of parallax adjustment based on the distribution of distance information, by the aperture value, the focus distance and its proximity from the class whose histogram frequency is equal to or greater than a threshold value.
  • the most frequent class that peaks on the side is searched (step S30). If the histogram created in step S12 is FIG. 12, the focused subject (person A) is equal to or greater than the threshold value, but there is no class equal to or greater than the threshold value of the histogram closer to the focus distance.
  • the CPU 40 uses the class ⁇ of the person A as a search result.
  • the class whose histogram frequency is equal to or greater than the threshold means that it occupies a predetermined range in each of the base image and the reference image. Therefore, by limiting the histogram frequency to a class having a threshold value or more, it is possible to exclude a subject with a narrow range of captured images from subjects to be subject to parallax adjustment. In the example shown in FIG. 12, the area of the flower B is determined to be narrow as a captured area, and is excluded from the subject to be subject to parallax adjustment.
  • the threshold value may be a preset value, or may be changed by the photographer via the operation unit 38. For example, the CPU 40 automatically sets the three classes to exceed the threshold value. Also good.
  • the CPU 40 selects a pixel having a subject distance within the range searched in step S30 from the standard image data and the reference image data, and sets a rectangular area Ln including the pixel (step S31).
  • the CPU 40 calculates an average value (average parallax amount) Pn of the parallax amount of each pixel included in the rectangular area Ln set in step S14 (step S15).
  • the CPU 40 confirms whether or not Pn calculated in step S15 is within the preset range of the parallax amounts a and at1 (step S16).
  • the parallax amount a is set to a predetermined value within the stereoscopic fusion range.
  • the CPU 40 opens the diaphragm 14 by one stage via the diaphragm driving unit 34 and increases the amount of parallax (step S17). Also, if Pn is not within the preset range of parallax amount a and a ⁇ t1 (NO in step S16) and Pn is larger than the parallax amount a, the stereoscopic effect is too strong. The CPU 40 closes the diaphragm 14 by one stage via the diaphragm driving unit 34 and reduces the amount of parallax (step S18).
  • step S19 it is determined whether or not the aperture 14 has reached the limit aperture value (step S19). If it is not the limit aperture value (NO in step S19), the parallax amount can be adjusted, so the process returns to step S15 and the parallax amount is confirmed again.
  • step S16 When Pn is within a predetermined range of parallax amounts a and a ⁇ t1 (YES in step S16) and when it is a limit aperture value (YES in step S19), the CPU 40 determines that the frequency of the histogram is equal to or greater than the threshold value.
  • the most frequent class that peaks at the in-focus distance and the far side (the direction away from the camera) is searched for (step S32). In the case shown in FIG.
  • the CPU 40 selects a pixel having a subject distance within the range searched in step S31 from the standard image data and the reference image data, and sets a rectangular area Lf including the pixel (step S33).
  • CPU40 calculates the average value (average parallax amount) Pf of the parallax amount of each pixel included in the rectangular area Lf set in step S21 (step S22).
  • the calculation of the amount of parallax is the same as in step S15.
  • the CPU 40 confirms whether or not Pf calculated in step S22 is equal to or less than a preset parallax amount b (step S23).
  • the parallax amount b is set to a predetermined value within the stereoscopic fusion range.
  • step S23 If Pf is not less than or equal to the preset parallax amount b (NO in step S23), the stereoscopic effect is too strong. Therefore, to reduce the parallax amount, the aperture value of the aperture 14 is set via the aperture drive unit 34. Is closed by one stage (step S24). As a result, it is determined whether or not the aperture 14 has reached the limit aperture value (step S25). If it is not the limit aperture value (NO in step S25), the amount of parallax can be adjusted, so the process returns to step S22 and the amount of parallax is confirmed again.
  • the parallax amount adjustment processing is terminated. Thereby, the amount of parallax between ⁇ and ⁇ in FIG. 12 can be set within a predetermined range.
  • the subject is subject to parallax adjustment from a certain percentage or more of subjects within the captured image.
  • Subjects can be set and the amount of parallax between these subjects can be set to an appropriate amount of parallax. Therefore, a parallax image with a more appropriate stereoscopic effect can be taken.
  • the threshold value is not changed during the process, but the threshold value may be adjusted when the threshold value is too high to find a target for parallax adjustment.
  • the threshold value may be adjusted automatically by the CPU 40 or may be instructed by the photographer.
  • parallax adjustment is performed by searching for the most frequent class that peaks at the focal distance and its near side or far side from classes whose histogram frequency is equal to or greater than the threshold.
  • the subject subject to parallax adjustment is not limited to this. For example, it is possible to search for the closest or farthest class from the classes whose histogram frequency is equal to or greater than a threshold value, and use them as the subject to be parallaxed.
  • the class on the right of class ⁇ is the subject to be parallaxed.
  • the amount of parallax between the subject farthest from the photographer and the subject closest to the photographer is made appropriate. Is not limited to this.
  • the third embodiment of the present invention is a form to do.
  • the monocular stereoscopic apparatus 10-2 according to the third embodiment will be described below. Note that description of the same parts as those of the first embodiment is omitted.
  • FIG. 13 is a flowchart showing the flow of the parallax amount adjustment process for controlling the F value so that the parallax amount between subjects to be parallax adjusted becomes appropriate after the AE / AF / AWB operation. This process is mainly performed by the CPU 40.
  • step S10 determines whether or not the AF process has been completed. If not completed (NO in step S10), step S10 is performed again. When the AF process is completed (YES in step S10), the subject distance of the focused subject is obtained (step S11).
  • the CPU 40 performs weighting according to the pixel position and creates a distance frequency histogram (step S40). Hereinafter, the process of step S40 will be described.
  • the CPU 40 calculates the subject distance for each pixel of the reference image data, similarly to step S12.
  • the CPU 40 divides the reference image data into a plurality of areas as shown in FIG. 8, and calculates the total value of the subject distance calculated for each pixel for each area.
  • the CPU 40 creates data that is the basis of the histogram by weighting according to the position of each region.
  • the weight is increased on the upper side of the image, and the weight is decreased as it goes downward.
  • the frequency is usually 1, but when the weight is increased, for example, doubled, the frequency is set to 2, and when the weight is decreased, for example, half, the frequency is set to 0.5.
  • FIG. 15 shows the created histogram.
  • the horizontal axis is the subject distance
  • the vertical axis is the frequency of the area where the total value of the subject distance is included in each subject distance range.
  • the CPU 40 searches for the most frequent class that peaks on the near side (direction approaching the camera) from the in-focus distance (the subject distance of the in-focus subject) based on the histogram (step S13).
  • the CPU 40 selects a pixel having a subject distance within the range searched in step S13 from the standard image data and the reference image data, and sets a rectangular area Ln including the pixel (step S14).
  • the CPU 40 calculates an average value (average parallax amount) Pn of the parallax amount of each pixel included in the rectangular area Ln set in step S14 (step S15).
  • the CPU 40 confirms whether or not Pn calculated in step S15 is within the preset range of the parallax amounts a and at1 (step S16).
  • the parallax amount a is set to a predetermined value within the stereoscopic fusion range.
  • the CPU 40 opens the diaphragm 14 by one stage via the diaphragm driving unit 34 and increases the amount of parallax (step S17). Also, if Pn is not within the preset range of parallax amount a and a ⁇ t1 (NO in step S16) and Pn is larger than the parallax amount a, the stereoscopic effect is too strong. The CPU 40 closes the diaphragm 14 by one stage via the diaphragm driving unit 34 and reduces the amount of parallax (step S18).
  • step S19 it is determined whether or not the aperture 14 has reached the limit aperture value (step S19). If it is not the limit aperture value (NO in step S19), the parallax amount can be adjusted, so the process returns to step S15 and the parallax amount is confirmed again.
  • the CPU 40 When Pn is within the range of the preset parallax amounts a and a ⁇ t1 (YES in step S16) and when it is a limit aperture value (YES in step S19), the CPU 40 focuses on the basis of the histogram. The most frequent class having a peak on the far side (distance away from the camera) from the distance is searched (step S20). The CPU 40 selects a pixel having a subject distance within the range searched in step S20 from the standard image data and the reference image data, and sets a rectangular area Lf including the pixel (step S21).
  • CPU40 calculates the average value (average parallax amount) Pf of the parallax amount of each pixel included in the rectangular area Lf set in step S21 (step S22).
  • the calculation of the amount of parallax is the same as in step S15.
  • the CPU 40 confirms whether or not Pf calculated in step S22 is equal to or less than a preset parallax amount b (step S23).
  • the parallax amount b is set to a predetermined value within the stereoscopic fusion range.
  • step S23 If Pf is not less than or equal to the preset parallax amount b (NO in step S23), the stereoscopic effect is too strong. Therefore, to reduce the parallax amount, the aperture value of the aperture 14 is set via the aperture drive unit 34. Is closed by one stage (step S24). As a result, it is determined whether or not the aperture 14 has reached the limit aperture value (step S25). If it is not the limit aperture value (NO in step S25), the amount of parallax can be adjusted, so the process returns to step S22 and the amount of parallax is confirmed again.
  • the parallax amount adjustment processing is terminated. Thereby, the amount of parallax between ⁇ and ⁇ in FIG. 12 can be set within a predetermined range.
  • a stereoscopic parallax image more suitable for the photographer's intention can be taken.
  • the histogram is created by generating the weighted data for the long-distance subject by increasing the weight on the upper side of the image that seems to have many long-distance subjects.
  • the method is not limited to this, and the photographer can arbitrarily set the method via the operation unit 38 or the like. For example, the weight at the center of an image in which an important subject appears to be taken may be increased.
  • the histogram is created by weighting according to the position, and the aperture value is controlled so that the parallax amount between the closest subject and the farthest subject is appropriate.
  • the aperture value may be controlled by weighting and setting the subject to be subject to parallax adjustment by limiting the frequency to a class having a frequency equal to or higher than a threshold.
  • the amount of parallax between the subject farthest from the photographer and the subject closest to the photographer is made appropriate. Is not limited to this.
  • the amount of parallax is calculated based on two pieces of information, that is, the amount of parallax from the photographer to the far subject and the amount of parallax from the photographer to the near subject, with the focused subject as a reference. It is the form which controls optimally.
  • a monocular stereoscopic imaging device 10-3 according to a fourth embodiment will be described. Note that description of the same parts as those of the first embodiment is omitted.
  • FIG. 16 is a flowchart showing the flow of the parallax amount adjustment process for controlling the F value so that the parallax amount between subjects to be parallax adjusted becomes appropriate after the AE / AF / AWB operation. This process is mainly performed by the CPU 40.
  • step S10 determines whether or not the AF process has been completed. If not completed (NO in step S10), step S10 is performed again. When the AF process is completed (YES in step S10), the subject distance of the focused subject is obtained (step S11).
  • step S12 creates a histogram of distance frequency (step S12). Based on the histogram, the CPU 40 searches for the most frequent class that peaks on the near side (the direction approaching the camera) from the in-focus distance (the subject distance of the in-focus subject) (step S13). The CPU 40 selects a pixel having a subject distance within the range searched in step S13 from the standard image data and the reference image data, and sets a rectangular area Ln including the pixel (step S14). The CPU 40 calculates an average value (average parallax amount) Pn of the parallax amount of each pixel included in the rectangular area Ln set in step S14 (step S15).
  • the CPU 40 searches for the most frequent class that peaks on the far side (the direction away from the camera) from the focus distance based on the histogram (step S20).
  • the CPU 40 selects a pixel having a subject distance within the range searched in step S20 from the standard image data and the reference image data, and sets a rectangular area Lf including the pixel (step S21).
  • the CPU 40 calculates an average value (average parallax amount) Pf of the parallax amount of each pixel included in the rectangular area Lf set in step S21 (step S22).
  • step S50 the parallax amount Pn between the person B who is the focused subject and the flower A is larger than the parallax amount Pf between the person B and the background C.
  • step S50 the CPU 40 confirms whether or not Pn calculated in step S15 is within a predetermined range of the parallax amounts a and at1.
  • the CPU 40 opens the diaphragm 14 by one stage via the diaphragm driving unit 34 and increases the amount of parallax (step S17). Also, if Pn is not within the preset range of parallax amount a and a ⁇ t1 (NO in step S16) and Pn is larger than the parallax amount a, the stereoscopic effect is too strong. The CPU 40 closes the diaphragm 14 by one stage via the diaphragm driving unit 34 and reduces the amount of parallax (step S18).
  • step S19 it is determined whether or not the aperture 14 has reached the limit aperture value (step S19). If it is not the limit aperture value (NO in step S19), the amount of parallax can be adjusted, so that the process returns to step S16 to confirm the amount of parallax again.
  • step S50 If it is determined in step S50 that Pn is large, the CPU 40 confirms whether or not Pf calculated in step S22 is equal to or less than the preset parallax amount b (step S23).
  • the parallax amount b is set to a predetermined value within the stereoscopic fusion range.
  • step S23 If Pf is not less than or equal to the preset parallax amount b (NO in step S23), the stereoscopic effect is too strong. Therefore, to reduce the parallax amount, the aperture value of the aperture 14 is set via the aperture drive unit 34. Is closed by one stage (step S24). As a result, it is determined whether or not the aperture 14 has reached the limit aperture value (step S25). If it is not the limit aperture value (NO in step S25), the parallax amount can be adjusted, so the process returns to step S23 to confirm the parallax amount again.
  • the amount of parallax between the focused subject and the closest subject that is, the amount of parallax in the pop-out direction, or the focused subject and the farthest subject
  • the amount of parallax that is, the amount of parallax in the depth direction can be appropriately controlled.
  • the parallax amount is adjusted using Pn.
  • the parallax is adjusted using Pf. The amount may be adjusted.
  • Pn and Pf are compared and the parallax amount is adjusted based on the larger one.
  • the photographer may set the reference.
  • the CPU 40 makes the parallax amount between the person B and the background C appropriate.
  • the aperture value of the aperture 14 is controlled. In this case, even if the amount of parallax between the person A and the flower B becomes larger than the amount of parallax a as a result of controlling the aperture value, the CPU 40 causes the parallax between the background C and the person B, which is a distant subject.
  • the aperture value is controlled so that the amount is appropriate. Thereby, a parallax image having a stereoscopic effect desired by the photographer can be taken.
  • the fourth embodiment of the present invention is a mode in which either the parallax amount from the photographer to the far subject or the parallax amount from the photographer to the near subject is optimally controlled with the focused subject as a reference. Both may be optimally controlled.
  • both the amount of parallax to the subject under focus and the far subject and the amount of parallax to the subject close to the subject under focus are optimized.
  • a monocular stereoscopic imaging device 10-4 according to a fifth embodiment will be described. Note that description of the same parts as those of the first embodiment is omitted.
  • FIG. 18 is a flowchart showing the flow of parallax amount adjustment processing for controlling the F value so that the amount of parallax between subjects to be subjected to parallax adjustment is appropriate after the AE / AF / AWB operation. This process is mainly performed by the CPU 40.
  • step S10 determines whether or not the AF process has been completed. If not completed (NO in step S10), step S10 is performed again. When the AF process is completed (YES in step S10), the subject distance of the focused subject is obtained (step S11).
  • step S12 creates a histogram of distance frequency (step S12). Based on the histogram, the CPU 40 searches for the most frequent class that peaks on the near side (the direction approaching the camera) from the focusing distance (the subject distance of the focused subject) (step S13). The CPU 40 selects a pixel having a subject distance within the range searched in step S13 from the right image data and the left image data (a reference image is a right image and a reference image is a left image), and a rectangular area Ln including the pixel. Is set (step S14). The CPU 40 calculates an average value (average parallax amount) Pn of the parallax amount of each pixel included in the rectangular area Ln set in step S14 (step S15).
  • the CPU 40 searches for the most frequent class that peaks on the far side (the direction away from the camera) from the focus distance based on the histogram (step S20).
  • the CPU 40 selects a pixel having a subject distance within the range searched in step S20 from the standard image data and the reference image data, and sets a rectangular area Lf including the pixel (step S21).
  • the CPU 40 calculates an average value (average parallax amount) Pf of the parallax amount of each pixel included in the rectangular area Lf set in step S21 (step S22).
  • CPU40 confirms whether Pf calculated by step S22 is below the amount of parallax b set beforehand (step S23).
  • the parallax amount b is set to a predetermined value within the stereoscopic fusion range.
  • the aperture value of the aperture 14 is set via the aperture drive unit 34. Is closed by one stage (step S24). As a result, it is determined whether or not the aperture 14 has reached the limit aperture value (step S25). If it is not the limit aperture value (NO in step S25), the parallax amount can be adjusted, so the process returns to step S23 to confirm the parallax amount again. Thus, the parallax amount between the subject at the in-focus position and the far subject is adjusted to be appropriate.
  • step S23 When Pn is equal to or less than the preset parallax amount b (YES in step S23) and when it is a limit aperture value (YES in step S25), the CPU 40 sets the Pn calculated in step S15 in advance. It is confirmed whether it is within the range of the parallax amount a and a ⁇ t1 (step S16).
  • step S16 If Pn is not within the preset range of parallax amounts a and at1 (NO in step S16), the CPU 40 causes Pn to be within the preset range of parallax amounts a and at1. Then, the focus lens is moved via the lens driving unit 36 (step S60). For example, in FIG. 17, when the parallax amount Pn is larger than the parallax amount a, the CPU 40 moves the focus lens so that the parallax amount Pn is in a range between the parallax amount a and at ⁇ t1. As a result, as shown in FIG.
  • the parallax amount Pn becomes the parallax amount Pn ′ within the range of the parallax amounts a and at1, and the person A who is the subject at the in-focus position is farther from the in-focus distance. It is moved and has a parallax amount X in the depth direction, and the parallax amount Pf becomes a parallax amount Pf ′ smaller than Pf.
  • the amount of parallax between the focused subject and the near subject, and the parallax between the focused subject and the far subject are controlled.
  • the parallax amount can be adjusted more precisely.
  • the parallax amount of the far-side subject is adjusted by controlling the aperture
  • the parallax amount of the near-side subject is adjusted by controlling the in-focus position. Adjustment may be made by controlling the aperture, and the amount of parallax of the far-side subject may be adjusted by controlling the focus position.
  • the in-focus position The amount of parallax may be adjusted by controlling. For example, when the limit aperture value is obtained in step S19 in FIG. 6 (YES in step S19), the CPU 40 causes the lens driving unit to keep Pn within a predetermined range of the parallax amounts a and at1.
  • the focus lens may be moved via 36 (step S60 in FIG. 19), and the process may return to step S15 in FIG.
  • a CCD is used as an imaging device.
  • the present invention is not limited to a CCD.
  • the present invention is also applicable to other image sensors such as CMOS.
  • left-right and up-down phase difference image sensors can be used.
  • a total of four pixels, two in the horizontal direction and two in the vertical direction, are included in one pixel, and four image signals are obtained at a time.
  • the upper left image is selected as the standard image
  • the desired one of the remaining three images is selected as the reference image
  • the processing for the two selected images is performed. Similar results can be obtained by performing multiple times.
  • the present invention is not limited to the case where two images are acquired just because the description in the scope of claims refers to two images, and two or more images are not included. It can be applied to all cases of acquisition.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Automatic Focus Adjustment (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

適切な立体感で撮影することができる。ＡＥ／ＡＦ／ＡＷＢ動作後に、画素毎に被写体距離を算出し、これに基づいて距離分布を示すヒストグラムを作成する（ステップＳ１２）。ヒストグラムに基づいて合焦距離より近側でピークとなる最も頻度の高い階級を探索し（ステップＳ１３）、探索された範囲内の被写体距離を有する画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。矩形エリアＬｎに含まれる平均視差量Ｐｎを算出し（ステップＳ１５）、Ｐｎが視差量ａとａ－ｔ１の範囲内にあるかを確認する（ステップＳ１６）。Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合には、Ｐｎが視差量ａとａ－ｔ１の範囲内になるように絞り値を調整する（ステップＳ１７～１９）。同様にして、遠側についても平均視差量Ｐｆが視差量ｂ以下となるように絞り値を調整する（ステップＳ２０～Ｓ２５）。

Description

単眼立体撮影装置、撮影方法及びプログラム
　本発明は単眼立体撮影装置、撮影方法及びプログラムに係り、特に、単一の撮影光学系の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する単眼立体撮影装置、撮影方法及びプログラムに関する。
　特許文献１には、単眼立体撮影装置が開示されている。この単眼立体撮影装置では、メインレンズ及びリレーレンズの左右方向の異なる領域を通過した被写体像をミラーにより瞳分割し、それぞれ結像レンズを介して撮像素子に結像させるようにしている。
　瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。したがって、左右方向に瞳分割された被写体像を撮像素子を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像を取得し、取得された左視点画像及び右視点画像を用いて３次元画像を表示することができる。
特表２００９－５２７００７号公報
　しかしながら、特許文献１に記載の単眼立体撮影装置は、被写体の距離によって自動的に立体感が決定されてしまい、適切な立体感とならない場合があるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、適切な立体感で撮影することができる単眼立体撮影装置、撮影方法及びプログラムを提供することを目的とする。
　上記目的を達成するために、本発明の一の態様に係る単眼立体撮影装置は、単一の撮影光学系と、撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得する撮像素子と、絞り値が変更可能な絞りと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求める距離情報取得手段と、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞り値を制御する制御手段と、を備えたことを特徴とする。なお、視差量には個人差があるが、子供の場合、ディスプレイ上での視差が50mmを超えないような視差が所定範囲内の視差量となる。また、ここでいう「複数の画像に基づいて複数の画像に含まれる被写体の距離情報」とは、視差に関する情報も含まれているものをいう。
　本発明の一の態様に係る単眼立体撮影装置によれば、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して得られた複数の画像に含まれる被写体の距離情報の分布を求め、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞り値を制御する。これにより、適切な視差量の視差画像を撮影することができる。
　本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、複数の画像のうちの所定の１枚の画像である基準画像の画素毎に距離情報を算出し、第１軸に距離情報、第２軸に画素数としたヒストグラムであって、距離情報を距離範囲毎に複数の階級に分割し、算出された距離情報が各階級の範囲に入っている画素の数を度数としたヒストグラムを作成するようにしてもよい。これにより、どの被写体距離の被写体がどの程度の割合を占めているかを明らかにすることができる。
　本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、複数の画像のうちの所定の１枚の画像である基準画像を複数の領域に分割し、分割された領域毎に距離情報を算出し、第１軸に距離情報、第２軸に領域数としたヒストグラムであって、距離情報を距離範囲毎に複数の階級に分割し、算出された距離情報が各階級の範囲に入っている領域の数を度数としたヒストグラムを作成してもよい。これにより、どの被写体距離の被写体がどの程度の割合を占めているかを明らかにすることができる。
　本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、基準画像の画素毎に距離情報を算出し、領域に含まれる画素の距離情報の平均値を分割された領域毎に算出することにより、複数の領域毎の距離情報を算出してもよい。
　本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、基準画像と、複数の画像のうちの基準画像以外の画像との間でパターンマッチング処理を行うことにより、距離情報を算出してもよい。
　本発明の他の態様に係る単眼立体撮影装置において、制御手段は、ヒストグラムにおいて、合焦している被写体の被写体距離と近側（カメラに近づく方向）のピークを有するもつ被写体距離の間、及び合焦している被写体の被写体距離と遠側（カメラから遠ざかる方向）にヒストグラムのピークを有するもつ被写体距離の間の少なくとも１つを視差調整の対象となる画像領域として絞り値を制御するようにしてもよい。これにより、ヒストグラムにおいて、合焦している被写体の被写体距離と近側のピークを有するもつ被写体距離の間、及び合焦している被写体の被写体距離と遠側にヒストグラムのピークを有するもつ被写体距離の間の少なくとも１つを適切に調整することができる。
　本発明の他の態様に係る単眼立体撮影装置において、制御手段は、合焦している被写体と合焦している被写体より近側で最も面積の広い被写体、及び合焦している被写体と合焦している被写体より遠側で最も面積の広い被写体の少なくとも１つを視差調整の対象となる画像領域として絞り値を制御するようにしてもよい。これにより、合焦している被写体より近側で最も面積の広い被写体と合焦している被写体より遠側で最も面積の広い被写体、又は合焦している被写体と合焦している被写体より近側で最も面積の広い被写体との視差量及び合焦している被写体と合焦している被写体より遠側で最も面積の広い被写体との視差量の少なくとも１つを適切に調整することができる。
　本発明の他の態様に係る単眼立体撮影装置において、制御手段は、分割された複数の領域のうちのヒストグラムの度数が閾値以上の階級に含まれる領域を対象に視差調整の対象となる画像領域を決定するようにしてもよい。これにより、画像内で所定の範囲を占める被写体のみを対象に視差調整の対象となる被写体を決定することができる。
　本発明の他の態様に係る単眼立体撮影装置において、制御手段は、絞り値を制御し、合焦している被写体と視差調整の対象となる画像領域との視差量が一定の値の範囲内とするようにしてもよい。これにより、飛び出し方向の視差量、奥行き方向の視差量の少なくとも１つを適切にすることができる。
　本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、画像の位置に応じて異なる重みを付けて距離情報を算出するようにしてもよい。これにより、より撮影者の意図に合った立体感の視差画像を撮影することができる。
　本発明の他の態様に係る単眼立体撮影装置において、撮影光学系は、フォーカスレンズを含み、制御手段は、視差調整の対象となる画像領域の視差が所定範囲内の視差量となるようにフォーカスレンズを移動させるようにしてもよい。これにより、絞り値だけでは調整しきれない場合にも、視差量を調整することができる。
　本発明の他の態様に係る単眼立体撮影方法において、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞りの絞り値を制御するステップと、を含むことを特徴とする。
　本発明の他の態様に係るプログラムにおいて、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞りの絞り値を制御するステップと、を演算装置に実行させることを特徴とする。
　本発明によれば、適切な立体感で撮影することができる。
立体撮影装置のブロック図 位相差イメージセンサの構成例を示す図 主、第２画素の１画素ずつを示した図 図４Ａ及び図４Ｂは図３の要部拡大図 被写体距離と視差量との関係を示す図 第１の実施の形態における視差量調整処理の流れを示すフローチャート 撮影対象の一例 領域分割の一例 図７の被写体を撮影したときの距離分布を示すヒストグラム 基準画像データの一例 第２の実施の形態における視差量調整処理の流れを示すフローチャート 第２の実施の形態における距離情報の分布を示すヒストグラム 第３の実施の形態における視差量調整処理の流れを示すフローチャート 重み付けの一例 第３の実施の形態における距離情報の分布を示すヒストグラム 第４の実施の形態における視差量調整処理の流れを示すフローチャート 被写体距離と視差量との関係を示す図 第５の実施の形態における視差量調整処理の流れを示すフローチャート 合焦位置が変更されたときの被写体距離と視差量との関係を示す図
　以下、添付図面に従って本発明に係る撮影装置を実施するための最良の形態について詳細に説明する。
　＜第１の実施の形態＞
　［撮影装置の構成の説明］
　図１は本発明に係る単眼立体撮影装置１０の実施の形態を示すブロック図である。この単眼立体撮影装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラであり、装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御される。
　単眼立体撮影装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮影装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、二次元撮影モード、３次元撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。
　再生ボタンは、撮影記録した３次元画像、二次元画像の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
　撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影光学系１２、絞り１４を介して固体撮像素子である位相差ＣＣＤ１６の受光面に結像される。
　撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。
　絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4～Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。また、ＣＰＵ４０は、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタ速度）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。
　図２は位相差ＣＣＤ１６（単眼３次元画像素子）の構成例を示す図である。
　位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（第１画素）と、偶数ラインの画素（第２画素）とを有しており、これらの主、第２画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
　図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
　図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の第１画素ＰＤａ、第２画素ＰＤｂの１画素ずつを示した図であり、図４Ａ及び図４Ｂは図３の要部拡大図である。
　図４Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
　これに対し、図４Ｂに示すように、位相差ＣＣＤ１６の第１画素ＰＤａ及び第２画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより第１画素ＰＤａ、第２画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
　なお、上記構成の位相差ＣＣＤ１６は、第１画素ＰＤａと第２画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、二つの画素（第１画素と第２画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
　図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。
　また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図、本発明に係る複数の視差優先プログラム線図等が記憶されている不揮発性メモリである。
　ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの第１画素から読み出される基準画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される参照画像データは、右視点画像データとして処理される。
　デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３次元画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３次元画像を表す３次元画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３次元画像を表す３次元画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３次元画像データが書き換えられている方の領域以外の領域から、書き込まれている３次元画像データが読み出される。ＶＲＡＭ５０から読み出された３次元画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３次元の被写体像が液晶モニタ３０の表示画面上に表示される。
　この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。
　ＡＥ／ＡＷＢ検出部４４は、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重み付けをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。
　また、ＡＥ／ＡＷＢ検出部４４は、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリア毎にＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ４０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリア毎にＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。判別された光源種に適したホワイトバランス調整値に従って、例えば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ＝１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域（以下、ＡＦエリアという）内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。なお、ＡＦ評価値の演算はＧ信号を利用してもよいし、輝度信号（Ｙ信号）などの他の画像信号を利用してもよい。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のＡＦエリア内の第１画素、第２画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。ＡＦエリアは、例えば画面中央部に設定されるが、画面全体をＡＦエリアとしてもよいし、所望の被写体（例えば顔）の近傍領域をＡＦエリアとしてもよい。なお、顔を検出する方法は既に公知であるため説明を省略する。
　単眼立体撮影装置１０では、合焦している像は位相差ＣＣＤ１６上の同一位置に結像する（一致する）ため、視差量は０であるが、合焦していない像は位相差ＣＣＤ１６上の異なる位置に結像するため、被写体の距離に応じた視差量がつく。図５は、被写体までの距離（以下、被写体距離という）と視差との関係を示すグラフであり、１ｍの位置にある被写体が合焦している場合の異なるＦ値のグラフである。Ｆ値が同じ場合には、３ｍの位置にある被写体の視差量と、１０ｍにある被写体の視差量とを比較すると、３ｍの位置にある被写体の視差量ａより１０ｍにある被写体の視差量ｂの方が大きい。したがって、被写体距離によっては視差量が適切でない場合が起こりうる。視差量が一定以上となると見づらくなり、視差量が一定以下となると立体感が得にくいため、Ｆ値を変えることで、最適な視差量となるように制御する。
　なお、図５において、視差量０とは視差がない、すなわち液晶モニタ３０表面の位置に表示されることを意味する。また、視差量＋とは、液晶モニタ３０表面より奥行き方向の視差を意味し、視差量－とは、液晶モニタ３０表面より飛び出し方向（手前側）の視差を意味する。
　同じ被写体距離でもＦ値によって視差量が異なる。位相差ＣＣＤ１６に入射する光束を少なくする、すなわちＦ値を大きくすると、合焦する被写体距離の範囲が広くなる。それに対し、位相差ＣＣＤ１６に入射する光束を多くする、すなわちＦ値を小さくすると、合焦する被写体距離の範囲が狭くなる。したがって、図５に示すように、Ｆ値が大きくなればなるほどグラフの形がなだらかになる、すなわち基準画像と参照画像との視差量が小さくなる。また、Ｆ値が小さくなればなるほどグラフの形が急峻になる、すなわち基準画像と参照画像との視差量が大きくなる。
　なお、図５においては１ｍの位置にある被写体が合焦している場合であるが、例えば３ｍの位置にある被写体が合焦している場合には、３ｍのところで横軸が交差するように図５のグラフを右方向に平行移動したものとなる。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素及び第２画素に対応する左眼用画像（基準画像）及び右眼用画像（参照画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。
　なお、ＡＦ動作は、シャッタボタンの第１段階の押下（半押し）がある場合のみでなく、左眼用画像及び右眼用画像の２枚分の画像データ、すなわち右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、繰り返しＡＦ評価値の演算を行って又は位相差の検出を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。
　［撮影装置の動作の説明］
　次に、単眼立体撮影装置１０の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記憶されている。
　撮影光学系１２を通過した被写体光は、絞り１４を介して位相差ＣＣＤ１６の受光面に結像される。ＣＣＤ制御部３２により、位相差ＣＣＤ１６の第１画素及び第２画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部１８、Ａ／Ｄ変換器２０、画像入力コントローラ２２を介してデジタル信号処理部２４に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。
　ＣＰＵ４０は、左眼用画像データ及び右眼用画像データに基づいて、絞り駆動部３４を介して絞り１４の開口量である絞り値（Ｆ値）を変更する。また、ＣＰＵ４０は、操作部３８からの入力に応じて、レンズ駆動部３６を介してズーミングを行う。
　撮影者は、この液晶モニタ３０にリアルタイムに表示される画像（ライブビュー画像）を見ることにより、撮影画角を確認することができる。
　シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ／ＡＷＢ動作を実施する。
　図６は、ＡＥ／ＡＦ／ＡＷＢ動作後に、撮影者から最も近い被写体と撮影者から最も遠い被写体との視差量が適切となるように絞り値（Ｆ値）を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。
　ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。
　ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。合焦している被写体の被写体距離は、フォーカスレンズの位置から算出することができる。これにより、図５に示す距離と視差量との関係を示すグラフが確定する。
　ＣＰＵ４０は、距離頻度のヒストグラムを作成する（ステップＳ１２）。ステップＳ１２の処理を図７に示す被写体を撮影する場合を例に説明する。
　まず、ＣＰＵ４０は、基準画像データ（又は参照画像データ、以下同じ）の画素毎に被写体距離を算出する。被写体距離は、基準画像と参照画像との間でパターンマッチング処理を行うことにより得られた位相差から求めることができる。また、画素毎に分割測距を行うことにより求めることもできる。
　ＣＰＵ４０は、距離情報取得手段としても機能し、作成されたデータを用いてヒストグラムを作成する。図９（８）は、図７に示す被写体を撮影した場合のヒストグラムである。横軸は被写体距離であり、複数の階級に分けられている。また、縦軸は、算出された画素毎の被写体距離が、各階級の範囲に入っている画素の数である。これにより、被写体距離のバラツキや、どの被写体距離の被写体がどの程度の割合を占めているか、すなわち被写体の距離情報の分布を得ることができる。図７に示す被写体の場合には、主に合焦位置（人Ａ）、近い距離の被写体（花Ｂ）、遠距離の被写体（背景Ｃ）の３つから構成されることが分かる。
　なお、ヒストグラムの作成方法はこれに限られない。例えば、図８（９）に示すように基準画像データを複数の領域に分割し、画素毎に算出された被写体距離の平均値を領域毎に算出することで、ヒストグラムの基となるデータを作成し、このデータに基づいてヒストグラムを作成してもよい。この場合には、縦軸は、算出された平均値が各階級の範囲に入っている領域の数となる。横軸は、被写体距離である。また、領域の被写体距離は、画素毎に算出された被写体距離に基づいて算出しても良いし、領域の位相差に基づいて算出してもよい。領域の位相差は、基準画像データ、参照画像データの間でパターンマッチングを行うことにより算出できる。
　ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。図９に示す場合においてはαである。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。これにより、視差調整の対象として最も近い被写体が設定される。図７に示す被写体を撮影した第１画素データを図１０とすると、図１０においては、図９のαの被写体距離範囲内の画素を含む矩形エリアＬαが設定される。矩形エリアを設定し、演算するエリアを特定範囲内に限定することで、演算時間を短縮することができる。
　ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。視差量は、第１画素データと第２画素データとの対象画素のずれ量であり、画素数で表される。例えば、第１画素データにおける花の中心と、第２画素データにおける花の中心とが５画素ずれていた場合には、視差量は５画素となる。なお、Ｐｎは視差量の絶対値で求められる。
　ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ－ｔ１の範囲内にあるかを確認する（ステップＳ１６）。すなわち、合焦している被写体と最も近い被写体との視差量が、一定の視差量ａとａ－ｔ１の範囲内にあるかを確認する。この視差量ａは、立体視融合範囲内の所定の値に設定される。
立体視融合範囲内とは、画像視聴者が快適に立体視できる視差量であり、過大視差や開散視差とならない範囲である。これらは主に立体表示装置の画面サイズ、視聴距離等の条件から設定される。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａ－ｔ１より小さい場合には、視差量が小さすぎ、適切な立体感が得られない場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階開き、視差量を大きくする（ステップＳ１７）。また、Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａより大きい場合には、立体感が強すぎる場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階閉じ、視差量を小さくする（ステップＳ１８）。
　その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ１９）。限界絞り値でない場合（ステップＳ１９でＮＯ）には、視差量の調整が可能であるため、ステップＳ１５へ戻り、再度視差量の確認を行う。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）及び限界絞り値である場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。図９に示す場合においてはβである。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。これにより、視差調整の対象として最も遠い被写体が設定される。図７に示す被写体を撮影した第１画素データを図１０とすると、図１０においては、図９βの被写体距離範囲内の画素を含む矩形エリアＬβが設定される。
　ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。視差量の算出はステップＳ１５と同様である。なお、Ｐｆは視差量の絶対値で求められる。ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。すなわち、合焦している被写体と最も遠い被写体との視差量が視差量ｂ以下であるかを確認する。この視差量ｂは、立体視融合範囲内の所定の値に設定される。
　Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２２へ戻り、再度視差量の確認を行う。
　Ｐｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、視差量調整処理を終了する。
　これにより、図９のαとβとの視差量、すなわち最も近い被写体と最も遠い被写体との視差量を所定の範囲内にすることができる。なお、視差量の絞りによる変化量は近距離ほど大きく変動するため、本実施の形態では近距離側の視差を優先して調整する。
　その後、シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッタ速度、絞り値で位相差ＣＣＤ１６を露光する。
　位相差ＣＣＤ１６の第１画素、第２画素からそれぞれ出力された２枚分の画像データは、アナログ処理部６０、Ａ／Ｄ変換器２０、画像入力コントローラ２２を介してＶＲＡＭ５０に取り込まれ、画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。
　ＶＲＡＭ５０に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディアコントローラ２を介してメモリカード５４に記録される。これにより、立体視画像が撮影、記録される。
　なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮影装置１０は、二次元画像、立体視画像の両方が撮影可能である。二次元画像を撮影する場合には、位相差ＣＣＤ１６の第１画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。
　以上のようにしてメモリカード５４に記録された画像は、再生ボタンにより単眼立体撮影装置１０のモードを再生モードに設定することにより、液晶モニタ３０で再生表示させることができる。
　再生モードに設定されると、ＣＰＵ４０は、メディアコントローラ５２にコマンドを出力し、メモリカード５４に最後に記録された画像ファイルを読み出させる。
　読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部２６に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオ・エンコーダ２８を介して液晶モニタ３０に出力される。
　画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルがメモリカード５４から読み出され、液晶モニタ３０に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルがメモリカード５４から読み出され、液晶モニタ３０に再生表示される。
　本実施の形態によれば、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にすることができる。
　なお、本実施の形態では、先に近い被写体の視差量Ｐｎを調整し、後で遠い被写体の視差量Ｐｆを調整したが、先に遠い被写体の視差量を調整し、後で近い被写体の視差量を調整しても良い。
　＜第２の実施の形態＞
　本発明の第１の実施の形態では、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にするものであるが、視差量を適切にする対象となる被写体（視差調整の対象となる被写体）はこれに限られない。
　本発明の第２の実施の形態は、基準画像、参照画像のそれぞれの画像内で所定の範囲を占める被写体のみを対象に視差調整の対象となる被写体を決定する形態である。以下、第２の実施の形態に係る単眼立体撮影装置１０－１について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。
　図１１は、ＡＥ／ＡＦ／ＡＷＢ動作後に、基準画像、参照画像のそれぞれの画像内で所定の範囲を占める被写体のうちで撮影者から最も近い被写体と撮影者から最も遠い被写体との視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。
　ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。
　ＣＰＵ４０は、距離情報の分布である距離頻度のヒストグラムを作成する（ステップＳ１２）。距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を絞り値により制御する制御手段としても機能するＣＰＵ４０は、ヒストグラムの度数が閾値以上の階級のなかから合焦距離及びその近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ３０）。ステップＳ１２で作成されたヒストグラムが図１２であるとすると、合焦している被写体（人Ａ）は閾値以上であるが、合焦距離より近側にはヒストグラムの閾値以上の階級が存在しない。したがって、ＣＰＵ４０は、人Ａの階級γを探索結果とする。ヒストグラムの度数が閾値以上の階級とは、基準画像、参照画像のそれぞれの画像内で所定の範囲を占めることを意味する。したがって、ヒストグラムの度数が閾値以上の階級に限定することで、撮影された範囲の狭い被写体を視差調整の対象となる被写体から除外することができる。図１２に示す例においては、花Ｂのエリアは写っている範囲として狭いと判断され、視差調整の対象となる被写体から除外される。なお、閾値は、予め設定された値を用いてもよいし、撮影者が操作部３８を介して変更しても良いし、例えば３個の階級が閾値を越えるようにＣＰＵ４０が自動設定してもよい。
　ＣＰＵ４０は、ステップＳ３０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ３１）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。
　ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ－ｔ１の範囲内にあるかを確認する（ステップＳ１６）。この視差量ａは、立体視融合範囲内の所定の値に設定される。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａ－ｔ１より小さい場合には、視差量が小さすぎ、適切な立体感が得られない場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階開き、視差量を大きくする（ステップＳ１７）。また、Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａより大きい場合には、立体感が強すぎる場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階閉じ、視差量を小さくする（ステップＳ１８）。
　その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ１９）。限界絞り値でない場合（ステップＳ１９でＮＯ）には、視差量の調整が可能であるため、ステップＳ１５へ戻り、再度視差量の確認を行う。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）及び限界絞り値である場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、ヒストグラムの度数が閾値以上のもののなかから合焦距離及びその遠側（カメラから遠ざかる方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ３２）。図１２に示す場合においてはβである。
　ＣＰＵ４０は、ステップＳ３１で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ３３）。
　ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。視差量の算出はステップＳ１５と同様である。ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。
　Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２２へ戻り、再度視差量の確認を行う。
　Ｐｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、視差量調整処理を終了する。これにより、図１２のγとβとの視差量を所定の範囲内にすることができる。
　本実施の形態によれば、撮影された範囲の狭い被写体を視差調整の対象となる被写体から除外することで、撮影された画像内で一定の割合以上の被写体のなかから視差調整の対象となる被写体を設定し、これらの被写体間の視差量を適切な視差量とすることができる。したがって、より適切な立体感の視差画像を撮影することができる。
　なお、本実施の形態では、処理の途中で閾値は変更しないが、閾値が高すぎて視差調整の対象が見つからなかった場合等に閾値を調整するようにしても良い。閾値の調整は、ＣＰＵ４０が自動で行ってもよいし、撮影者が指示しても良い。
　また、本実施の形態では、ステップＳ３０、Ｓ３２において、ヒストグラムの度数が閾値以上の階級のなかから合焦距離及びその近側又は遠側でピークとなる最も頻度の高い階級を探索して視差調整の対象となる被写体としたが、視差調整の対象となる被写体はこれに限られない。例えば、ヒストグラムの度数が閾値以上の階級のなかから最も近側又は遠側の階級を探索して視差対象の被写体としてもよい。図１２においては、階級βの一つ右にある階級が視差対象の被写体となる。
　＜第３の実施の形態＞
　本発明の第１の実施の形態では、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にするものであるが、視差量を適切にする対象となる被写体（視差調整の対象となる被写体）はこれに限られない。
　本発明の第３の実施の形態は、する形態である。以下、第３の実施の形態に係る単眼立体撮影装置１０－２について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。
　図１３は、ＡＥ／ＡＦ／ＡＷＢ動作後に、視差調整の対象となる被写体間の視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。
　ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。
　ＣＰＵ４０は、画素の位置に応じた重み付けをして、距離頻度のヒストグラムを作成する（ステップＳ４０）。以下、ステップＳ４０の処理について説明する。
　まず、ＣＰＵ４０は、ステップＳ１２と同様に、基準画像データの画素毎に被写体距離を算出する。次に、ＣＰＵ４０は、ステップＳ１２と同様に、図８に示すように基準画像データを複数の領域に分割し、画素毎に算出された被写体距離の合計値を領域毎に算出する。最後に、ＣＰＵ４０は、各領域の位置に応じて重み付けをしてヒストグラムの基となるデータを作成する。本実施の形態では、図１４に示すように、画像の上側は重みを大きくし、下側に行くにつれて重みを小さくする。例えば、通常は頻度１であるが、重みを大きくする、例えば２倍にする場合には頻度２とし、重みを小さくする例えば半分にする場合には頻度０．５とする処理を行う。被写体距離が合焦距離より近い側は視差量が大きくなりやすいため、被写体距離が近い被写体があるとすぐに視差量を小さくする制御が入ってしまう。したがって、遠距離の被写体が多いと思われる画像の上側の重みを大きくすることで、遠距離の被写体に重みを付けたデータを生成する。
　ＣＰＵ４０は、重み付けがされたデータを用いてヒストグラムを作成する。図１５は、作成されたヒストグラムを示す。横軸は被写体距離であり、縦軸は被写体距離の合計値が各被写体距離範囲に含まれる領域の度数である。同じ被写体に対して重み付け無しで作成されたヒストグラムである図９と比較すると、人Ａ及び背景Ｃに相当する階級の度数が多くなっていることが分かる。
　ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。
　ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ－ｔ１の範囲内にあるかを確認する（ステップＳ１６）。この視差量ａは、立体視融合範囲内の所定の値に設定される。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａ－ｔ１より小さい場合には、視差量が小さすぎ、適切な立体感が得られない場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階開き、視差量を大きくする（ステップＳ１７）。また、Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａより大きい場合には、立体感が強すぎる場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階閉じ、視差量を小さくする（ステップＳ１８）。
　その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ１９）。限界絞り値でない場合（ステップＳ１９でＮＯ）には、視差量の調整が可能であるため、ステップＳ１５へ戻り、再度視差量の確認を行う。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）及び限界絞り値である場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向））でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。
　ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。視差量の算出はステップＳ１５と同様である。ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。
　Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２２へ戻り、再度視差量の確認を行う。
　Ｐｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、視差量調整処理を終了する。これにより、図１２のγとβとの視差量を所定の範囲内にすることができる。
　本実施の形態によれば、画素の位置に応じて重み付けをして距離情報の分布を作成することで、より撮影者の意図に合った立体感の視差画像を撮影することができる。
　なお、本実施の形態では、遠距離の被写体が多いと思われる画像の上側の重みを大きくすることで、遠距離の被写体に重みを付けたデータを生成してヒストグラムを作成したが、重み付けの方法はこれに限られず、撮影者が操作部３８等を介して任意に設定することができる。例えば、重要な被写体が撮影されていると思われる画像の中央の重みを大きくしても良い。
　また、本実施の形態では、位置に応じた重み付けをしてヒストグラムを作成し、最も近い被写体と最も遠い被写体との視差量が適切になるように絞り値を制御したたが、位置に応じた重み付けをしてヒストグラムに対して、度数が閾値以上の階級に限定して視差調整の対象となる被写体を設定して絞り値を制御しても良い。
　＜第４の実施の形態＞
　本発明の第１の実施の形態では、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にするものであるが、視差量を適切にする対象となる被写体（視差調整の対象となる被写体）はこれに限られない。
　本発明の第４の実施の形態は、合焦した被写体を基準とし、撮影者から遠い被写体までの視差量と撮影者から近い被写体までの視差量との二つの情報をもとに視差量を最適に制御するする形態である。以下、第４の実施の形態に係る単眼立体撮影装置１０－３について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。
　図１６は、ＡＥ／ＡＦ／ＡＷＢ動作後に、視差調整の対象となる被写体間の視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。
　ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。
　ＣＰＵ４０は、距離頻度のヒストグラムを作成する（ステップＳ１２）。ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。
　また、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向））でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。
　ＣＰＵ４０は、ＰｎとＰｆとを比較し、どちらが大きいか判断する（ステップＳ５０）。図１７に示す例においては、合焦している被写体である人Ｂと花Ａとの視差量Ｐｎが人Ｂと背景Ｃとの視差量Ｐｆより大きい。ステップＳ５０でＰｎとＰｆが同じ又はＰｎが大きいと判断された場合には、ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ－ｔ１の範囲内にあるかを確認する（ステップＳ１６）。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａ－ｔ１より小さい場合には、視差量が小さすぎ、適切な立体感が得られない場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階開き、視差量を大きくする（ステップＳ１７）。また、Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａより大きい場合には、立体感が強すぎる場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階閉じ、視差量を小さくする（ステップＳ１８）。
　その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ１９）。限界絞り値でない場合（ステップＳ１９でＮＯ）には、視差量の調整が可能であるため、ステップＳ１６へ戻り、再度視差量の確認を行う。
　ステップＳ５０でＰｎが大きいと判断された場合には、ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。
　Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２３へ戻り、再度視差量の確認を行う。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）、ＰｎがＰｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ１９、Ｓ２５でＹＥＳ）には、視差量調整処理を終了する。
　本実施の形態によれば、合焦した被写体を基準とし、合焦している被写体と最も近い被写体との視差量、すなわち飛び出し方向の視差量、又は合焦している被写体と最も遠い被写体との視差量、すなわち奥行き方向の視差量を適切に制御することができる。
　なお、本実施の形態では、近距離側を優先するため、ＰｎとＰｆが同じ場合にはＰｎを用いて視差量の調整を行ったが、ＰｎとＰｆが同じ場合にはＰｆを用いて視差量の調整を行ってもよい。
　また、本実施の形態では、ＰｎとＰｆを比較し、大きい方を基準に視差量の調整を行ったが、撮影者が基準を設定してもよい。図１７に示す例において、撮影者によって操作部３８を介して遠い側の被写体を優先することが設定されている場合には、ＣＰＵ４０は、人Ｂと背景Ｃとの視差量が適切となるように絞り１４の絞り値を制御する。この場合において、絞り値の制御を行った結果、人Ａと花Ｂとの視差量が視差量ａより大きくなってしまったとしても、ＣＰＵ４０は、遠い被写体である背景Ｃと人Ｂとの視差量が適切となるように絞り値を制御する。これにより、撮影者の望む立体感の視差画像を撮影することができる。
　＜第５の実施の形態＞
　本発明の第４の実施の形態では、合焦した被写体を基準とし、撮影者から遠い被写体までの視差量と撮影者から近い被写体までの視差量のいずれかを最適に制御する形態であるが、両方を最適に制御してもよい。
　本発明の第５の実施の形態は、合焦下被写体と遠い被写体までの視差量と、合焦下被写体と近い被写体までの視差量の両方を最適にする形態である。以下、第５の実施の形態に係る単眼立体撮影装置１０－４について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。
　図１８は、ＡＥ／ＡＦ／ＡＷＢ動作後に、視差調整の対象となる被写体間の視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。
　ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。
　ＣＰＵ４０は、距離頻度のヒストグラムを作成する（ステップＳ１２）。ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を右画像データ及び左画像データ（基準画像を右画像、参照画像を左画像という）から選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。
　また、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向））でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。
　ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。
　Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２３へ戻り、再度視差量の確認を行う。これにより、合焦位置にある被写体と遠い被写体との視差量が適切となるように調整される。
　ＰｎがＰｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ－ｔ１の範囲内にあるかを確認する（ステップＳ１６）。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）には、ＣＰＵ４０は、Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内に収まるように、レンズ駆動部３６を介してフォーカスレンズを移動させる（ステップＳ６０）。例えば、図１７において視差量Ｐｎが視差量ａより大きい場合には、ＣＰＵ４０は、視差量Ｐｎが視差量ａとａ－ｔ１の範囲になるようにフォーカスレンズを移動させる。その結果、図１９に示すように、視差量Ｐｎは視差量ａとａ－ｔ１の範囲内の視差量Ｐｎ’となり、合焦位置にあった被写体である人Ａは合焦距離より遠側に移動されて奥行き方向に視差量Ｘを有することとなり、視差量ＰｆはＰｆより小さい視差量Ｐｆ’となる。
　Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）には、視差量調整処理を終了する。
　本実施の形態によれば、絞り値の制御に加えて合焦位置を制御することにより、合焦している被写体と近い被写体との視差量、合焦している被写体と遠い被写体との視差量のどちらかが大きすぎたり小さすぎたりした場合に、より緻密に視差量の調整を行うことができる。
　なお、本実施の形態では、まず遠側の被写体の視差量を絞りの制御で調整とし、近側の被写体の視差量を合焦位置の制御で調整したが、近側の被写体の視差量を絞りの制御で調整とし、遠側の被写体の視差量を合焦位置の制御で調整してもよい。
　また、第１の実施の形態の図６に示すフローにおいて、限界絞り値で絞り値での視差量の調整が不可能となった場合（ステップＳ１９、Ｓ２５でＮＯ）の場合に、合焦位置を制御することで視差量の調整を行っても良い。例えば、図６ステップＳ１９で限界絞り値であった場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、Ｐｎが予め設定された視差量ａとａ－ｔ１の範囲内に収まるように、レンズ駆動部３６を介してフォーカスレンズを移動させ（図１９のステップＳ６０）、再度図６のステップＳ１５に戻るようにすればよい。
　なお、本実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明は、ＣＭＯＳ等他のイメージセンサにも適用可能である。また、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御するステップと、を上述のプログラムにより演算装置に実行させることもできることには留意されたい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　例えば、図２に示すような左右方向の位相差撮像素子のかわりに、左右方向及び上下方向の位相差撮像素子を使用することもできる。この場合には、左右方向に２個、上下方向に２個の合計４個の画素が１つの画素に含まれ、一度に４枚の画像信号が得られる。４枚の画像信号が得られた場合においても、基準画像として左上の画像を選択し、参照画像として残りの３枚の中の所望の１枚を選択し、選択した２枚の画像に対する処理を複数回行うことにより、同様の結果を得ることができる。すなわち、本発明は、特許請求の範囲の記載が２枚の画像を対象にしているからといって２枚の画像を取得する場合に限定されるわけではなく、２枚以上の複数の画像を取得する全ての場合に適用することができる。
　特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　１０、１０－１、１０－２、１０－３、１０－４…単眼立体撮影装置、１２…撮影光学系、１４…絞り、１６…位相差ＣＣＤ（撮像素子）、１６Ａ…遮光部材、１６Ｂ…遮光部材の開口、２４…デジタル信号処理部、４０…ＣＰＵ、４８…メモリ、５２…メディアコントローラ、５４…メモリカード、５６…ＥＥＰＲＯＭ、Ｌ…マイクロレンズ、ＰＤ…フォトダイオード（画素）

Claims (12)

  1. 　単一の撮影光学系と、
    　前記撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得する撮像素子と、
    　絞り値が変更可能な絞りと、
    　前記複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求める距離情報取得手段と、
    　前記距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御する制御手段と、
    　を備えたことを特徴とする単眼立体撮影装置。
  2. 　前記距離情報取得手段は、
    　前記複数の画像のうちの１枚の画像である基準画像について画素毎に距離情報を算出し、
    　前記距離情報を距離範囲毎に複数の階級に分割し、前記算出された距離情報が各階級の範囲に入っている画素の数を度数としたヒストグラムを作成する請求項１に記載の単眼立体撮影装置。
  3. 　前記距離情報取得手段は、
    　前記基準画像を複数の領域に分割し、前記分割された領域毎に距離情報を算出し、
    　前記距離情報を距離範囲毎に複数の階級に分割し、前記算出された距離情報が各階級の範囲に入っている領域の数を度数としたヒストグラムを作成する請求項１に記載の単眼立体撮影装置。
  4. 　前記距離情報取得手段は、
    前記基準画像の画素毎に距離情報を算出し、
    前記分割された各領域に含まれる画素の距離情報の平均値を領域毎に算出することにより、前記複数の領域毎の距離情報を算出する請求項３に記載の単眼立体撮影装置。
  5. 　前記距離情報取得手段は、
    前記基準画像と、前記複数の画像のうちの基準画像以外の画像との間でパターンマッチング処理を行うことにより、前記距離情報を算出する請求項２又は３に記載の単眼立体撮影装置。
  6. 　前記制御手段は、前記ヒストグラムにおいて、合焦している被写体の被写体距離と近側にヒストグラムのピークを有する被写体距離の間、及び合焦している被写体の被写体距離と遠側にヒストグラムのピークを有する被写体距離の間の少なくとも１つを前記視差調整の対象となる画像領域として前記絞り値を制御する請求項２から５のいずれかに記載の単眼立体撮影装置。
  7. 　前記制御手段は、
    前記分割された複数の領域のうちの前記ヒストグラムの度数が閾値以上の階級に含まれる領域を対象に前記視差調整の対象となる画像領域を決定する請求項２から６のいずれかに記載の単眼立体撮影装置。
  8. 　前記制御手段は、
    前記絞り値を制御し、前記合焦している被写体と前記視差調整の対象となる画像領域との視差量が一定の値の範囲内とする請求項６又は７に記載の単眼立体撮影装置。
  9. 　前記距離情報取得手段は、
    前記複数の画像のいずれかの画像内の位置に応じて異なる重みを付けて前記距離情報を算出することを特徴とする請求項２から８のいずれかに記載の単眼立体撮影装置。
  10. 　前記撮影光学系は、
    フォーカスレンズを含み、
    　前記制御手段は、
    前記視差調整の対象となる画像領域の視差が所定範囲内の視差量となる範囲で前記フォーカスレンズを移動させる請求項１から９のいずれかに記載の単眼立体撮影装置。
  11. 　単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、
    　前記複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求めるステップと、
    　前記距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御するステップと、
    　を含むことを特徴とする単眼立体撮影方法。
  12. 　単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、
    　前記複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求めるステップと、
    　前記距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御するステップと、
    　を演算装置に実行させることを特徴とするプログラム。
PCT/JP2012/070736 2011-09-13 2012-08-15 単眼立体撮影装置、撮影方法及びプログラム WO2013038863A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280044391.6A CN103874960B (zh) 2011-09-13 2012-08-15 单眼立体摄影装置、摄影方法及程序
JP2013533577A JP5788518B2 (ja) 2011-09-13 2012-08-15 単眼立体撮影装置、撮影方法及びプログラム
US14/205,522 US9462252B2 (en) 2011-09-13 2014-03-12 Single-eye stereoscopic imaging device, imaging method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011199709 2011-09-13
JP2011-199709 2011-09-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/205,522 Continuation US9462252B2 (en) 2011-09-13 2014-03-12 Single-eye stereoscopic imaging device, imaging method and recording medium

Publications (1)

Publication Number Publication Date
WO2013038863A1 true WO2013038863A1 (ja) 2013-03-21

Family

ID=47883097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/070736 WO2013038863A1 (ja) 2011-09-13 2012-08-15 単眼立体撮影装置、撮影方法及びプログラム

Country Status (4)

Country Link
US (1) US9462252B2 (ja)
JP (1) JP5788518B2 (ja)
CN (1) CN103874960B (ja)
WO (1) WO2013038863A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232181A (ja) * 2013-05-28 2014-12-11 キヤノン株式会社 撮像装置およびその制御方法
WO2018008269A1 (ja) * 2016-07-08 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2020021126A (ja) * 2018-07-30 2020-02-06 キヤノン株式会社 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6021780B2 (ja) * 2013-10-07 2016-11-09 キヤノン株式会社 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
KR101783991B1 (ko) * 2014-04-29 2017-10-11 한화테크윈 주식회사 영상촬영장치에서 개선된 줌트래킹 방법
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
JP6822404B2 (ja) * 2015-07-31 2021-01-27 ソニー株式会社 制御装置、制御方法、コンピュータプログラム及び電子機器
EP3196633B1 (en) * 2016-01-20 2021-11-17 Canon Kabushiki Kaisha Apparatus and method for measuring a reflection characteristic of an object
US20180288306A1 (en) * 2017-03-30 2018-10-04 Qualcomm Incorporated Mask-less phase detection autofocus
EP3668077B1 (en) 2017-08-09 2023-08-02 FUJIFILM Corporation Image processing system, server device, image processing method, and image processing program
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit
CN109489620B (zh) * 2019-01-12 2020-12-25 内蒙古农业大学 一种单目视觉测距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016612A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及び視差画像撮像方法
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2006105771A (ja) * 2004-10-05 2006-04-20 Canon Inc 撮像装置および地形図作成装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2010249941A (ja) * 2009-04-13 2010-11-04 Sony Corp 立体撮像装置
WO2011108283A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
EP2762972B1 (en) 2006-02-13 2020-04-08 Midmark Corporation Monocular three-dimensional imaging
JP5300414B2 (ja) * 2008-10-30 2013-09-25 キヤノン株式会社 カメラ及びカメラシステム
JP5425554B2 (ja) 2009-07-27 2014-02-26 富士フイルム株式会社 立体撮像装置及び立体撮像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016612A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及び視差画像撮像方法
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2006105771A (ja) * 2004-10-05 2006-04-20 Canon Inc 撮像装置および地形図作成装置
JP2010081580A (ja) * 2008-08-29 2010-04-08 Sony Corp 撮像装置および映像記録再生システム
JP2010249941A (ja) * 2009-04-13 2010-11-04 Sony Corp 立体撮像装置
WO2011108283A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232181A (ja) * 2013-05-28 2014-12-11 キヤノン株式会社 撮像装置およびその制御方法
WO2018008269A1 (ja) * 2016-07-08 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JPWO2018008269A1 (ja) * 2016-07-08 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US11272167B2 (en) 2016-07-08 2022-03-08 Sony Corporation Information processing apparatus, information processing method, and information processing system
JP7110978B2 (ja) 2016-07-08 2022-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2020021126A (ja) * 2018-07-30 2020-02-06 キヤノン株式会社 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
JP7195801B2 (ja) 2018-07-30 2022-12-26 キヤノン株式会社 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム

Also Published As

Publication number Publication date
CN103874960B (zh) 2017-02-15
US9462252B2 (en) 2016-10-04
CN103874960A (zh) 2014-06-18
JP5788518B2 (ja) 2015-09-30
US20140192162A1 (en) 2014-07-10
JPWO2013038863A1 (ja) 2015-03-26

Similar Documents

Publication Publication Date Title
JP5788518B2 (ja) 単眼立体撮影装置、撮影方法及びプログラム
US8885026B2 (en) Imaging device and imaging method
JP5595499B2 (ja) 単眼立体撮像装置
JP5450200B2 (ja) 撮像装置、方法およびプログラム
JP5474234B2 (ja) 単眼立体撮像装置及びその制御方法
JP5368350B2 (ja) 立体撮像装置
US8823778B2 (en) Imaging device and imaging method
JP5421829B2 (ja) 撮像装置
US20110234767A1 (en) Stereoscopic imaging apparatus
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
WO2014064946A1 (ja) 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
US9124866B2 (en) Image output device, method, and recording medium therefor
JP5457240B2 (ja) 立体撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
WO2013031392A1 (ja) 立体撮像装置
WO2015163350A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2014063190A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12832505

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013533577

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12832505

Country of ref document: EP

Kind code of ref document: A1