WO2012002071A1 - 撮像装置、画像処理装置および画像処理方法 - Google Patents

撮像装置、画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2012002071A1
WO2012002071A1 PCT/JP2011/061805 JP2011061805W WO2012002071A1 WO 2012002071 A1 WO2012002071 A1 WO 2012002071A1 JP 2011061805 W JP2011061805 W JP 2011061805W WO 2012002071 A1 WO2012002071 A1 WO 2012002071A1
Authority
WO
WIPO (PCT)
Prior art keywords
planar image
pixel
imaging
image
resolution
Prior art date
Application number
PCT/JP2011/061805
Other languages
English (en)
French (fr)
Inventor
宗之 大島
智行 河合
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012522516A priority Critical patent/JP5470458B2/ja
Priority to CN201180032246.1A priority patent/CN103039066B/zh
Publication of WO2012002071A1 publication Critical patent/WO2012002071A1/ja
Priority to US13/725,858 priority patent/US20130107019A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an imaging device capable of generating a stereoscopic image composed of a plurality of viewpoints using a single photographing optical system, and an image to be subjected to image processing using a plurality of viewpoints obtained by the imaging device.
  • the present invention relates to a processing apparatus and an image processing method.
  • an imaging apparatus capable of generating a stereoscopic image composed of planar images from a plurality of viewpoints using a single photographing optical system.
  • Patent Document 1 discloses a configuration in which a single photographing optical system is provided, and a stereoscopic image is generated by performing pupil division by rotating a diaphragm.
  • Patent Document 2 discloses a configuration in which a single photographing optical system is provided, pupil division is performed by a microlens array, and phase difference focusing control is performed.
  • Patent Document 3 includes a single imaging optical system and an imaging device in which a first pixel group and a second pixel group that photoelectrically convert light beams that have passed through different areas of the single imaging optical system are arranged.
  • An imaging device that generates a stereoscopic image including a planar image obtained by a first pixel group and a planar image obtained by a second pixel group is disclosed.
  • Patent Document 4 describes that in the imaging apparatus described in Patent Document 3, the output of the first pixel and the output of the second pixel are added.
  • Patent Document 5 discloses a configuration in which an image is divided into a plurality of areas and pixel addition is performed only in a specific area such as a dark luminance level.
  • an imaging apparatus (hereinafter referred to as “monocular 3D imaging apparatus”) that can generate a stereoscopic image composed of planar images from a plurality of viewpoints using a single imaging optical system, a single high-resolution image is obtained from the planar images from a plurality of viewpoints. If it is to be generated, a noise pattern is generated in a non-focused portion of the high-resolution planar image. A mechanism for generating such a noise pattern will be described below.
  • the imaging device 16 forms an image on a 3 Tsunozo 9 1a, 9 2a, 9 3a, focus that fit the image pickup device 16, only the image 9 2a of the object 9 2 located on the focusing plane D.
  • the distance between the object 9 1 and the imaging lens 12 is longer than the distance between the object 9 1 and the focusing plane D, formed on the focused image 9 1d is located close to the imaging lens 12 than the imaging device 16 Therefore, the image 9 1a of the subject 9 1 is a blurred image.
  • the focused image 9 3d is than the distance between the object 9 3 and the focusing plane D between the subject 9 3 and the imaging lens 12 because it is formed, the image 9 3a of the subject 9 3 also becomes blurred image.
  • monocular 3D imaging apparatus of this embodiment the lower the state that limits upward by the shutter 9 5 the pupil of the imaging lens 12 as shown in FIG. 18B, the shutter 9 5 the pupil of the imaging lens 12 as shown in FIG. 18C There is a state limited to only.
  • the blur amount and position of the image on the imaging device 16 in such a monocular 3D imaging apparatus are different from those of the monocular imaging apparatus shown in FIG. 18A. That is, in the state shown in FIG. 18B, as shown in FIG.
  • Patent Documents 1 to 5 do not disclose a configuration that can achieve both high resolution maintenance in a high resolution planar image and elimination of noise patterns caused by parallax.
  • Patent Document 4 has a problem that the resolution of the focused main subject is reduced by pixel addition because pixel addition is simply performed between neighboring pixels. For example, in the case of mixing two pixels, the resolution is reduced to 1 ⁇ 2.
  • Patent Document 5 does not disclose a monocular 3D imaging device that can generate a stereoscopic image, and does not describe a configuration that can suppress a noise pattern caused by parallax.
  • the present invention has been made in view of such circumstances, and is capable of maintaining the resolution of a focused main subject portion in a high-resolution planar image obtained by combining a plurality of planar images having parallax and noise caused by parallax.
  • An object of the present invention is to provide an imaging device, an image processing device, and an image processing method that can reliably eliminate a pattern.
  • one aspect of the present invention provides a single imaging optical system, a first imaging pixel group that photoelectrically converts light beams that have passed through different regions of the single imaging optical system, and the above
  • An imaging device having a second imaging pixel group, the first planar image based on the pixel signal of the first imaging pixel group, and the second planar image based on the pixel signal of the second imaging pixel group
  • a stereoscopic image generation unit that generates a stereoscopic image, a parallax amount calculation unit that calculates a parallax amount of each part of the first planar image and the second planar image, the first planar image, and the A determination unit that determines that a portion of the second plane image in which the amount of parallax is greater than a threshold is blurred; and a portion of the first plane image and the second plane image that is blurred Blur processing to blur
  • an imaging device and a high-resolution flat image generator for generating a single high-resolution planar image
  • the first planar image and the second planar image having parallax are converted into the first planar image and the second planar image.
  • the resolution of the focused main subject portion in the combined high-resolution planar image can be maintained, and the noise pattern caused by the parallax can be reliably eliminated.
  • blur processing pixel value addition averaging, filter processing, and the like can be given. Other blurring processes may be used.
  • the parallax amount calculation unit calculates the parallax amount of each pixel of the first planar image and the second planar image, and the determination unit has the parallax amount greater than a threshold value
  • the pixel is determined to be a blurred pixel
  • the blurring processing unit is a pixel pair including the pixel of the first planar image and the pixel of the second planar image, and is close to each other in the imaging device. Paying attention to each pixel pair corresponding to the first imaging pixel and the second imaging pixel that are arranged, the pixel values are averaged between the pixels of the pixel pair including the blurred pixel.
  • a single imaging optical system and a first imaging pixel group and a second imaging pixel group that photoelectrically convert light beams that have passed through different regions of the single imaging optical system, respectively.
  • a stereoscopic image comprising: an imaging device having: a first planar image based on a pixel signal of the first imaging pixel group; and a second planar image based on a pixel signal of the second imaging pixel group
  • a blur amount difference calculating unit that calculates a difference in blur amount, and blurring processing on the portion of the first planar image and the second planar image in which the absolute value of the blur amount difference is greater than a threshold value
  • an imaging device and a high-resolution flat image generator for generating a single high-resolution planar image by combining the image and the second planar image.
  • the “part common to the imaging pixel arrangement” does not mean a completely identical part, Pixels located in the vicinity of each other.
  • the blurring process is performed on the area where the difference in blur amount is larger than the threshold value, the focused main subject in the high-resolution planar image obtained by combining the first planar image and the second planar image having parallax
  • the resolution of the part can be maintained, and the noise pattern due to the parallax can be reliably eliminated.
  • the blur amount difference calculating unit calculates a difference in sharpness between pixels constituting the pixel pair as the difference in blur amount.
  • the blurring process is an averaging or filtering process of pixel values in the part where the absolute value of the difference in blur amount is larger than a threshold value.
  • the blur amount difference calculation unit is a pixel pair including pixels of the first planar image and pixels of the second planar image, and is disposed in the vicinity of each other in the imaging device. Paying attention to each pixel pair corresponding to the first imaging pixel and the second imaging pixel, a blur amount difference is calculated between the pixels constituting the pixel pair, The pixel values are averaged between the pixels of the pixel pair in which the absolute value of the difference in blur amount is larger than a threshold value.
  • the blur amount difference calculation unit is a pixel pair including pixels of the first planar image and pixels of the second planar image, and is disposed in the vicinity of each other in the imaging device. Paying attention to each pixel pair corresponding to the first imaging pixel and the second imaging pixel, a blur amount difference is calculated between the pixels constituting the pixel pair, A filter process is performed to blur only the pixel with the smaller blur amount in the pixel pair in which the absolute value of the difference in blur amount is larger than the threshold value. That is, only the pixel with the smaller blur amount in the pixel pair is filtered, and the pixel with the larger blur amount in the pixel pair is not filtered, so noise patterns caused by parallax are reliably eliminated. However, the increase in the amount of blur can be minimized.
  • the blur processing unit determines a filter coefficient based on at least a difference in blur amount.
  • a high-resolution planar image capturing mode for generating the high-resolution planar image for generating the high-resolution planar image
  • a low-resolution planar image capturing mode for generating a low-resolution planar image having a lower resolution than the high-resolution planar image for generating a low-resolution planar image having a lower resolution than the high-resolution planar image
  • the stereoscopic image capturing mode for generating a visual image is provided, and the high-resolution planar image is generated when the high-resolution planar image capturing mode is set.
  • planar image capturing mode for generating the high-resolution planar image
  • a stereoscopic image capturing mode for generating the stereoscopic image
  • planar image capturing mode is set.
  • the high-resolution planar image is generated.
  • the pixel array of the imaging device is a honeycomb array.
  • the pixel array of the imaging device is a Bayer array.
  • a subject is imaged by an imaging device having a first imaging pixel group and a second imaging pixel group that photoelectrically convert light beams that have passed through different regions of a single imaging optical system.
  • the amount of parallax for calculating the amount of parallax for each part of the first plane image based on the pixel signal of the first imaging pixel group and the second plane image based on the pixel signal of the second imaging pixel group obtained A calculation unit; a determination unit that determines that a portion where the amount of parallax is greater than a threshold among the first plane image and the second plane image is a blurred portion; the first plane image and the second plane image; A blur processing unit that performs blur processing on the blurred portion of the second plane image, and the first plane image and the second plane image after blur processing are combined into a single high resolution.
  • High solution for generating planar images To provide an image processing apparatus and a degree flat image generator.
  • a subject is imaged by an imaging device having a first imaging pixel group and a second imaging pixel group that photoelectrically convert light beams that have passed through different regions of a single imaging optical system.
  • This is a difference in blur amount between each portion of the first planar image based on the pixel signal of the first imaging pixel group and the second planar image based on the pixel signal of the second imaging pixel group.
  • a blur amount difference calculating unit that calculates a difference in blur amount between portions common in the imaging pixel arrangement of the imaging device, and a difference in the blur amount among the first planar image and the second planar image.
  • a blur processing unit that performs blur processing on a portion where the absolute value of the image is larger than a threshold value, and combining the first planar image and the second planar image after the blur processing into one high-resolution planar image High-resolution planar image generator to generate To provide an image processing apparatus comprising a.
  • a subject is imaged by an imaging device having a first imaging pixel group and a second imaging pixel group that photoelectrically convert light beams that have passed through different areas of a single imaging optical system. Then, one high-resolution planar image is generated from the first planar image based on the pixel signal of the first imaging pixel group and the second planar image based on the pixel signal of the second imaging pixel group.
  • a subject is imaged by an imaging device having a first imaging pixel group and a second imaging pixel group that photoelectrically convert light beams that have passed through different areas of a single imaging optical system. Then, one high-resolution planar image is generated from the first planar image based on the pixel signal of the first imaging pixel group and the second planar image based on the pixel signal of the second imaging pixel group.
  • a difference in blur amount between each portion of the first planar image and each portion of the second planar image, and a difference in blur amount between portions common to the imaging pixel arrangement of the imaging device A blur amount difference calculating step for calculating the blur amount, and a blur processing step for performing blur processing on a portion of the first plane image and the second plane image where an absolute value of the difference in blur amount is larger than a threshold value; , After blur processing To provide an image processing method comprising the steps of generating a single high-resolution planar image by combining the serial first planar image and the second planar image.
  • the present invention it is possible to maintain the resolution of a focused main subject portion in a high-resolution planar image obtained by combining a plurality of planar images having parallax, and to reliably eliminate noise patterns caused by parallax. .
  • FIG. 1 is a block diagram illustrating a hardware configuration example of an imaging apparatus according to the present invention.
  • a diagram showing a configuration example of an imaging device FIG. 3 is a diagram illustrating a configuration example of an imaging device (main pixel)
  • FIG. 4 is a diagram illustrating a configuration example of an imaging device (subpixel) Diagram showing imaging pixels Fig. 3 is an enlarged view of the main part (normal pixel). 3 is an enlarged view of the main part (phase difference pixel).
  • Block diagram of principal parts of the imaging apparatus according to the first embodiment Explanatory drawing used for explanation of RAW image, left image, right image and parallax map The flowchart which shows the flow of the image processing example in 1st Embodiment.
  • FIG. 1 is a block diagram showing an embodiment of an imaging apparatus 10 according to an embodiment of the present invention.
  • the imaging apparatus 10 records the captured image on the recording medium 54, and the operation of the entire apparatus is centrally controlled by a central processing unit (CPU: central processing unit) 40.
  • CPU central processing unit
  • the imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal.
  • LCD liquid crystal monitor
  • the shutter button is an operation button for inputting an instruction to start photographing, and includes a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is for a selection operation for selecting a 2D shooting mode, a 3D shooting mode, an auto shooting mode, a manual shooting mode, a scene position such as a person, a landscape, a night view, a macro mode, a moving image mode, and a parallax priority shooting mode according to the present invention. This is an operation member.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been recorded is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key that has both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and buttons (operation members for cursor movement operation) for selecting an item from the menu screen and instructing selection of various setting items from each menu. ).
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the image light indicating the subject is imaged on the light receiving surface of the imaging device 16 that is a solid-state imaging device via the photographing lens 12 (shooting optical system) including the focus lens and the zoom lens, and the diaphragm 14.
  • the photographing lens 12 is driven by a lens driving unit 36 controlled by the CPU 40, and focus control, zoom control, and the like are performed.
  • the diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by the diaphragm driving unit 34 controlled by the CPU 40.
  • the diaphragm value is controlled in six steps from 1 to the aperture value from the aperture values F1.4 to F11.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34, and controls the charge accumulation time (shutter speed) in the imaging device 16 and the readout of image signals from the imaging device 16 via the imaging control unit 32. Etc.
  • 2A to 2C are diagrams illustrating a configuration example of the imaging device 16.
  • the imaging device 16 has odd-numbered imaging pixels (hereinafter referred to as “main pixels”) and even-numbered imaging pixels (hereinafter referred to as “sub-pixels”) arranged in a matrix.
  • the image signals for the two surfaces photoelectrically converted by these main and sub-pixels can be read independently.
  • the pixel array of the imaging device 16 is a honeycomb array.
  • FIG. 3 is a diagram showing the photographic lens 12, the diaphragm 14, and the main pixel PDa and the sub-pixel PDb of the imaging device 16 one by one, and FIGS. 4A and 4B are enlarged views of the main part of FIG.
  • the light beam passing through the exit pupil is incident on the pixel (photodiode PD) of the normal imaging device through the microlens L without being restricted.
  • the main pixel PDa and the sub-pixel PDb of the imaging device 16 are formed with a light-shielding member 16A, and the light-shielding member 16A shields the right half or the left half of the light-receiving surface of the main pixel PDa and the sub-pixel PDb. Yes. That is, the light shielding member 16A functions as a pupil division member.
  • the imaging device 16 having the above-described configuration is configured such that the main pixel PDa and the sub-pixel PDb have different regions (right half and left half) where the light beam is limited by the light shielding member 16A. Is not limited to this.
  • the microlens L and the photodiode PD may be relatively shifted in the left-right direction, and the light flux incident on the photodiode PD may be limited by the shifting direction.
  • the light flux incident on each pixel may be limited.
  • the signal charge accumulated in the imaging device 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the imaging control unit 32.
  • the voltage signal read from the imaging device 16 is applied to the analog signal processing unit 18, where the R, G, B signals for each pixel are sampled and held, and the gain designated by the CPU 40 (corresponding to ISO sensitivity). And then added to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs gain control processing including offset processing, white balance correction, sensitivity correction, gamma correction processing, synchronization processing (color interpolation) on a digital image signal input via the image input controller 22. Processing), YC processing, contrast enhancement processing, contour correction processing, and the like.
  • An EEPROM (electrically erasable programmable read-only memory) 56 is a non-volatile memory in which various parameters and tables used for camera control programs, defect information of the imaging device 16, image processing, and program diagrams are stored. It is.
  • the main image data read from the main pixels of the odd lines of the imaging device 16 is processed as a left viewpoint planar image (hereinafter referred to as “left image”), and
  • the sub-image data read from the sub-pixel is processed as a right viewpoint planar image (hereinafter referred to as “right image”).
  • the left image and the right image processed by the digital signal processing unit 24 are input to a VRAM (video random access memory) 50.
  • the VRAM 50 includes an A area and a B area each storing 3D image data representing a three-dimensional (3D) image for one frame.
  • 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area.
  • the written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50.
  • the 3D image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30 for stereoscopic display provided on the back of the camera. As a result, a 3D subject image is displayed on the display screen of the liquid crystal monitor 30.
  • the liquid crystal monitor 30 is a stereoscopic display device that can display stereoscopic images (left image and right image) as directional images each having a predetermined directivity by a parallax barrier.
  • the stereoscopic display device is not limited to this.
  • a lens that uses a lenticular lens or a lens that allows a user to see the left image and the right image individually by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses may be used.
  • the imaging device 16 When the shutter button of the operation unit 38 is first pressed (half-pressed), the imaging device 16 starts an AF (automatic focus adjustment) operation and an AE (automatic exposure) operation, and the lens driving unit 36 is operated.
  • the focus lens in the photographic lens 12 is controlled to be in the in-focus position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting EV value) from the integrated value input from the AE detection unit 44, and sets the aperture value of the aperture 14 and the electronic shutter (shutter speed) of the imaging device 16 based on the shooting EV value. It is determined according to a predetermined program diagram.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34 based on the determined aperture value, and controls the charge accumulation time in the imaging device 16 via the imaging control unit 32 based on the determined shutter speed. .
  • the AF processing unit 42 is a part that performs contrast AF processing or phase AF processing.
  • contrast AF processing high-frequency components of image data in a predetermined focus area are extracted from at least one of the left image data and right image data, and the high-frequency components are integrated to focus.
  • An AF evaluation value indicating the state is calculated.
  • AF control is performed by controlling the focus lens in the photographic lens 12 so that the AF evaluation value is maximized.
  • phase difference AF process the phase difference between the image data corresponding to the main pixel and the sub-pixel in the predetermined focus area of the left image data and the right image data is detected, and this phase difference is indicated.
  • a defocus amount is obtained based on the information.
  • AF control is performed by controlling the focus lens in the taking lens 12 so that the defocus amount becomes zero.
  • the image data for the two images, the image and the right image are input from the image input controller 22 to a memory (SDRAM: Synchronous Random Access Memory) 48 and temporarily stored.
  • SDRAM Synchronous Random Access Memory
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, where predetermined signals including generation processing (YC processing) of luminance data and color difference data of the image data are performed. Processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again. Subsequently, two pieces of YC data are respectively output to the compression / decompression processing unit 26, subjected to predetermined compression processing such as JPEG (joint photographic experts group), and then stored in the memory 48 again.
  • a multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated.
  • the MP file is read via the media interface (media I / F) 52 and recorded on the recording medium 54.
  • FIG. 5 is a principal block diagram of the imaging apparatus 10a according to the first embodiment.
  • the same reference numerals are given to the components shown in FIG. 1, and the description of the already described items is omitted below.
  • the monocular 3D imaging system 17 of this example specifically includes the photographing lens 12, the aperture 14, the imaging device 16, the analog signal processing unit 18, and the A / D converter 20 of FIG.
  • the monocular 3D imaging system 17 has an imaging having a single imaging lens 12 (imaging optical system) and a main pixel group and a sub-pixel group that photoelectrically convert light beams that have passed through different areas of the single imaging lens 12.
  • Device 16 is included.
  • the monocular 3D imaging system 17 captures an image of a subject and outputs the pixel signal output from the main pixel (first imaging pixel) group illustrated in FIG. 2B and the sub-pixel (second imaging pixel) group illustrated in FIG. 2C.
  • a RAW image composed of the output pixel signals is generated.
  • the arrangement of pixels (also referred to as “image pixels”) in the RAW image corresponds to the arrangement of the imaging pixels (photodiode PD) shown in FIG. 2A.
  • a DSP (Digital Signal Processor) 60 includes the digital signal processing unit 24 of FIG. In FIG. 5, the CPU 40 and the DSP 60 are shown as separate elements, but may be formed integrally. Further, some of the components of the DSP 60 may be configured by the CPU 40.
  • the pixel separation unit 61 converts the RAW image 80 corresponding to the position of the pixel illustrated in FIG. 2A into the left image 80 ⁇ / b> L (first image corresponding to the pixel arrangement of the main pixel group illustrated in FIG. 2B. A plane image) and a right image 80R (second plane image) corresponding to the pixel arrangement of the sub-pixel group shown in FIG. 2C.
  • the parallax map generation unit 62 detects the correspondence between two pixels indicating the same point of the same subject in the left image 80L and the right image 80R, and the parallax between the pixels having the correspondence The amount ⁇ X is calculated, and a parallax map 88 indicating the correspondence between each pixel and the parallax amount ⁇ X is generated. In other words, the parallax map generation unit 62 calculates the parallax amount of each part of the left image 80L and the right image 80R.
  • the coordinate value difference ⁇ X in the x direction between the pixel P1a of the left image 80L and the pixel P2b of the right image 80R in FIG. 6 is calculated as the amount of parallax.
  • the first parallax map 88 of this example corresponds to the pixel arrangement of the left image 80L, and indicates the amount of parallax for each pixel of the left image 80L.
  • the blur pixel determination unit 63 compares the parallax amount (absolute value) of each pixel of the left image 80L and the right image 80R with a threshold, A pixel having an absolute value greater than the threshold is determined to be a blurred pixel. That is, the blurred pixel determination unit 63 is a pixel pair including the pixels of the left image 80L and the pixels of the right image 80R, and each pixel corresponding to the main pixel and the sub-pixel disposed in the vicinity in the imaging device 16 It is determined whether at least one pixel of the pair is blurred. For example, in FIG.
  • the pixel P1a of the left image 80L and the pixel P1b of the right image 80R are a pixel pair
  • the pixel P2a of the left image 80L and the pixel P2b of the right image 80R are a pixel pair.
  • the blurred pixel determination unit 63 determines that the portion of the left image 80L and the right image 80R where the amount of parallax is larger than the threshold is a portion that is blurred.
  • the blur equalization processing unit 64 pays attention to each pixel pair corresponding to the main pixel and the sub-pixel arranged in the vicinity of each other in the imaging device 16, and forms a pixel pair for the pixel pair including the blurred pixel.
  • the blurring process is performed to equalize the amount of blur among the pixels that are blurred, and the blurring process is not performed for pixel pairs that do not include the blurred pixels.
  • the pixel values are averaged by the pixel P1a of the left image 80L and the pixel P1b of the right image 80R, and the pixel values are averaged by the pixel P2a of the left image 80L and the pixel P2b of the right image 80R.
  • the blur equalization processing unit 64 performs blurring processing on a blurred portion of the left image 80L and the right image 80R.
  • the high-resolution image processing unit 65 performs synthesis by combining the left image 80L and the right image 80R after the averaging process by the blur equalization processing unit 64, so that one high-resolution planar image (hereinafter referred to as a RAW image that is re-synthesized). "High resolution planar image").
  • the high-resolution planar image is planar image data corresponding to the pixel arrangement of all the pixels of the imaging device 16 illustrated in FIG. 2A, and in this example is twice the resolution of the left image (or right image). Has resolution.
  • the stereoscopic image processing unit 66 performs image processing on the stereoscopic image including the left image 80L and the right image 80R that are not subjected to the addition averaging process by the blur equalization processing unit 64.
  • the left image 80L is plane image data corresponding to the pixel arrangement of the main pixel PDa shown in FIG. 2B
  • the right image 80R is plane image data corresponding to the pixel arrangement of the sub-pixel PDb shown in FIG. 2C.
  • the YC processing unit 67 converts an image made up of R, G, B pixel signals into an image of Y, C image signals.
  • a 2D image (high-resolution planar image) composed of R, G, and B pixel signals is obtained by the pixel separation unit 61, the parallax map generation unit 62, the blur pixel determination unit 63, the blur equalization processing unit 64, and the high-resolution image processing unit 65 illustrated in FIG. 2D image generation apparatus for generating (2D low-resolution image).
  • the pixel separation unit 61 and the stereoscopic image processing unit 66 in FIG. 5 constitute a 3D image generation device that generates a stereoscopic image including R, G, and B pixel signals.
  • FIG. 7 is a flowchart showing the flow of image processing in the first embodiment. This process is executed under the control of the CPU 40 according to the program.
  • step S1 the subject is imaged by the monocular 3D imaging system 17, and the RAW image 80 is acquired. That is, the RAW image 80 including pixel signals output from all the pixels of the imaging device 16 illustrated in FIG. 2A is stored in the memory 48.
  • step S2 the pixel separation unit 61 separates the RAW image 80 into a left image 80L and a right image 80R.
  • step S3 the parallax map generator 62 generates a parallax map 88.
  • This step S3 is shown in the detailed flowchart of FIG. First, one of the left image 80L and the right image 80R (left image 80L in this example) is selected as a reference image, and the other (right image 80R in this example) is set as a tracking image (step S11). Next, the target pixel is sequentially selected from the reference image 80L (step S12). Next, a pixel whose feature matches that of the target pixel of the reference image 80L is detected from the tracking image 80R, and a correspondence relationship between the target pixel of the reference image 80L and the detected pixel of the tracking image 80R is stored in the memory 48 ( Step S13).
  • step S14 It is determined whether or not selection of all the pixels of the reference image 80L is completed (step S14). If not completed, the process returns to step S12. If completed, the parallax amount ⁇ X is calculated and the parallax map 88 is calculated. Is created (step S15). That is, the parallax map 88 indicating the correspondence between each pixel of the left image 80L and the parallax amount ⁇ X is generated.
  • the amount of parallax includes pixels of the left image 80L (for example, 81b, 82b, and 83b) and corresponding pixels (for example, 81c, 82c, and 83c) of the right image 80R that have the same characteristics as those pixels.
  • Is a difference ⁇ X for example, ⁇ X 1 , ⁇ X 2 , ⁇ X 3 .
  • the received light amount (incident light amount) is greatly different. That is, in the RAW image 80, a step-like noise may be generated in an area where the parallax amount ⁇ X is large. If such a noise-containing RAW image 80 is handled as a high-resolution planar image and image processing such as contrast enhancement and contour correction is applied, noise appears conspicuously. Therefore, in steps S4 to S7 described later, image processing is performed to eliminate noise while maintaining high resolution.
  • step S4 the target pixel is selected from the reference image (for example, the left image 80L).
  • step S5 the blur pixel determination unit 63 determines whether or not the absolute value
  • is smaller than the threshold value S are determined to be non-blurred pixels.
  • and the amount of noise have a relationship in which the amount of noise increases upward (or proportionally) as
  • and the amount of noise is obtained through experiments and calculations, and a threshold value S is obtained in advance based on the correspondence relationship and set in advance in the EEPROM 56 or the like.
  • the size of the threshold S is not particularly limited, but is a value sufficiently smaller than the stereo fusion limit with human eyes (less than 1 / n of the stereo fusion limit).
  • step S6 the blur equalization processing unit 64 uses the pixel value of the blur pixel of the reference image 80L and the other pixel pixel pair arranged in the pixel arrangement of the imaging device 16.
  • the pixel values of the pixels of the flat image 80R are averaged. That is, a blurring process (blur equalization process) is performed to equalize the blur amount between the pixels constituting the pixel pair.
  • the main pixel PDa and the sub-pixel PDb are arranged in pairs in the imaging device 16, and the pixel corresponding to the PDa of the left image 80L and the pixel corresponding to the PDb of the right image 80R are Pixel values are averaged.
  • the main pixel PDa and the sub-pixel PDb in this example are imaging pixels of the same color that are arranged adjacent to each other in the imaging device 16. The average value of the pixel values of these two imaging pixels is set for both the pixel of the left image 80L and the pixel of the right image 80R.
  • step S7 it is determined whether or not all pixels have been selected. If not completed, the process returns to step S4. If completed, the process proceeds to step S8.
  • step S8 the high-resolution image processing unit 65 combines the left image 80L and the right image 80R to generate one high-resolution planar image.
  • step S9 the YC processing unit 67 performs YC processing for converting a high-resolution image composed of R, G, and B pixel signals into a high-resolution image composed of a Y (luminance) signal and a C (color difference) signal.
  • only the portion where the amount of blur is large is limited as the target area of the addition average among all the areas of the high-resolution planar image, so that noise is suppressed without degrading the resolution of the main subject in focus. can do.
  • the number of pixels of the “part” that is blurred is not limited. A determination as to whether or not the image is blurred and a blurring process may be performed for each region or each pixel. Moreover, although only the addition average of the pixel values is shown as the blurring process, the blurring process may be performed by a filter process (for example, a Gaussian filter) described later.
  • a filter process for example, a Gaussian filter
  • FIG. 10 is a principal block diagram of the imaging apparatus 10b according to the second embodiment.
  • symbol is attached
  • the sharpness comparison unit 72 sharpens between the pixel of the left image and the pixel of the right image respectively corresponding to the main pixel PDa and the subpixel PDb arranged in the vicinity in the imaging device 16.
  • the sharpness difference is calculated by comparing the degrees.
  • the difference in sharpness between pixels indicates the difference in blur amount between pixels, and the greater the sharpness difference, the greater the difference in blur amount between pixels. That is, the sharpness comparison unit 72 is a pixel pair composed of pixels of the left image and pixels of the right image, and each pixel pair corresponding to the main pixel PDa and the sub-pixel PDb arranged in the vicinity of each other in the imaging device 16. Attention is paid to a sharpness difference indicating a difference in blur amount between pixels constituting a pixel pair.
  • the sharpness comparison unit 72 is a difference in blur amount between each part of the left image 80L and each part of the right image 80R, and the blur amount between the parts common to the imaging pixel arrangement of the imaging device 16 is calculated. Calculate the difference.
  • the “part common to the imaging pixel arrangement” does not mean a completely identical part, Pixels located in the vicinity of each other.
  • the blur pixel determination unit 73 of the present embodiment compares the absolute value of the sharpness difference (the blur amount difference) calculated by the sharpness comparison unit 72 with a threshold value.
  • the blur pixel determination unit 73 determines to perform addition averaging between pixels constituting the pixel pair for a pixel pair having an absolute value of the sharpness difference larger than the threshold value.
  • the blur pixel determination unit 73 determines not to perform addition averaging for pixel pairs in which the absolute value of the sharpness difference is equal to or less than the threshold value.
  • the blur pixel determination unit 73 determines to perform the blurring process on a portion of the left image 80L and the right image 80R where the absolute value of the difference in blur amount is larger than the threshold value.
  • the blur equalization processing unit 64 performs an average of pixel values between pixels constituting a pixel pair according to the determination result of the blur pixel determination unit 73. That is, the blur equalization processing unit 64 pays attention to each pixel of the left image and the right image, and when the absolute value of the sharpness difference is larger than the threshold value, the main pixels PDa disposed in the vicinity of each other in the imaging device 16. The pixels corresponding to the sub-pixel PDb are added and averaged. On the other hand, the blur equalization processing unit 64 does not perform addition averaging when the absolute value of the sharpness difference is equal to or less than the threshold value. That is, the blur equalization processing unit 64 performs blurring processing on a portion where the absolute value of the difference in blur amount is larger than the threshold value.
  • FIG. 11 is a flowchart showing a flow of an image processing example in the second embodiment.
  • Steps S21 and S22 are the same as steps S1 and S2 of the first embodiment shown in FIG.
  • step S23 the target pixel is selected from the reference image (for example, the left image 80L).
  • the sharpness of each pixel is calculated by Laplacian filter processing.
  • An example of the filter matrix of the Laplacian filter is shown in FIG.
  • Edge detection can be performed by Laplacian filter processing, and the absolute value of the output value indicates the sharpness. Pixels with a smaller amount of blur increase sharpness, and pixels with a larger amount of blur have lower sharpness.
  • the Laplacian filter is not limited to this example.
  • the sharpness may be calculated using a filter other than the Laplacian filter.
  • the blur pixel determination unit 73 determines whether larger or not than the threshold value k th.
  • the difference in blur amount between the paired pixels is large, and therefore noise due to the parallax amount may be generated.
  • step S ⁇ b > 26 the blur equalization processing unit 64 averages pixel values between pairs of pixels in which the absolute value
  • step S27 it is determined whether or not all pixels have been selected. If not completed, the process returns to step S23, and if completed, the process proceeds to step S28.
  • Steps S28 and S29 are the same as steps S8 and S9 of the first embodiment shown in FIG.
  • noise caused by parallax is suppressed by reducing the sharpness of only the pixel with the smaller amount of blur among the pixel pairs by applying filter processing instead of addition averaging. That is, only the pixel with the smaller blur amount is processed to be blurred.
  • FIG. 13 is a block diagram illustrating a main configuration of the imaging apparatus according to the third embodiment.
  • symbol is attached
  • the blur pixel determination unit 73 of the present embodiment compares the absolute value of the sharpness difference (the blur amount difference) calculated by the sharpness comparison unit 72 with a threshold value. Then, when the absolute value of the sharpness difference is larger than the threshold value, the blur pixel determination unit 73 is arranged in the vicinity of each other in the imaging device 16 based on whether the sign of the sharpness difference is positive. It is determined which of the two pixels (pixel pair) of the left image and the right image respectively corresponding to the two imaging pixels that are present has the larger blur amount.
  • the blur filter processing unit 74 performs a filter process for blurring only a pixel having a smaller blur amount in the pixel pair for a pixel pair whose absolute value of sharpness difference (blur amount difference) is larger than a threshold value. On the other hand, the blur filter processing unit 74 does not perform the filter processing on pixel pairs whose absolute value of sharpness difference is equal to or less than a threshold value.
  • a Gaussian filter is used as the filter.
  • the Gaussian filter coefficient f (x) is shown in the following equation (1).
  • FIG. 14 is a graph showing the relationship between the sharpness difference
  • is equal to or greater than the threshold k th
  • f (x) from ⁇ calculation is performed using Equation 1 above, and normalization is performed so that the total sum of the calculated f (x) becomes “1”.
  • f (x) is determined for each discrete position centered on the target pixel.
  • f (x) ⁇ 0.1, 0.2, 0.4, 0.2, 0.1 ⁇ and the like.
  • normalization is performed so that the sum of the coefficients is “1.0” so that the brightness of the image does not fluctuate.
  • the filter is expressed by a one-dimensional filter coefficient, but the two-dimensional filter processing may be performed by sequentially performing the filter processing in the horizontal direction and the vertical direction.
  • a filter other than a Gaussian filter for example, a low-pass filter may be used.
  • the blur filter processing unit 74 determines a filter coefficient based on at least one of a difference in blur amount (sharpness difference in this example), a focal length at the time of shooting, and an aperture value at the time of shooting. Is preferred.
  • FIG. 15 is a flowchart showing the flow of image processing in the third embodiment.
  • Steps S31 and S32 are the same as steps S1 and S2 of the first embodiment shown in FIG.
  • step S33 the left image is set as the reference image.
  • step S34 the target pixel is selected in the reference image.
  • the blur pixel determination unit 73 determines whether larger or not than the threshold value k th.
  • the difference in blur amount between the paired pixels is large, and therefore noise due to the parallax amount may be generated.
  • step S37 the filter coefficient is determined.
  • step S38 it is determined whether or not the sharpness difference k is positive. If the sharpness difference k is positive, a filtering process is performed on the pixels of the right image in step S39. On the other hand, if the sharpness difference k is not positive, a filtering process is performed on the pixels of the left image in step S40. In other words, the difference in blur amount is suppressed by applying the filter process to the higher sharpness pixel to reduce the sharpness.
  • step S40 it is determined whether or not all pixels have been selected. If not completed, the process returns to step S34. If completed, the process proceeds to step S41.
  • Steps S42 and S43 are the same as steps S8 and S9 of the first embodiment shown in FIG.
  • the sharpness comparison unit 72 is a difference in blur amount between each part of the left image and each part of the right image, and the amount of blur between the parts common to the imaging pixel arrangement of the imaging device.
  • the difference is calculated, and the blurring filter processing unit 74 performs blurring processing on the portion of the left image and the right image where the absolute value of the difference in blur amount is larger than the threshold value. Therefore, it is possible to minimize the expansion of the blur amount while reliably eliminating the noise pattern caused by the parallax.
  • FIG. 16 is a flowchart showing the flow of shooting mode selection processing in the image pickup apparatus 10 of FIG. This process is executed by the CPU 40 of FIG. Note that this process may be performed in any of the first to third embodiments.
  • the imaging device 10 When the power is turned on, the imaging device 10 is in a standby state (step S51). In the standby state, the operation unit 38 accepts a shooting mode selection instruction operation.
  • the selection instruction operation is accepted, it is determined whether the selected imaging mode is the 2D imaging mode or the 3D imaging mode (step S52).
  • the 3D shooting mode is set (step S53).
  • the 2D shooting mode it is determined whether or not the number of recorded pixels is larger than (the number of effective pixels of the imaging device 16/2) (step S54). If the number of recorded pixels is larger than (the number of effective pixels of the imaging device 16/2), the 2D high-resolution shooting mode is set (step S55). On the other hand, when the number of recording pixels is equal to or less than (the number of effective pixels of the imaging device 16/2), the 2D low-resolution shooting mode is set (step S56). In the 2D low resolution shooting mode, the resolution of the 2D image to be recorded is set to, for example, 1/2 of the 2D high resolution shooting mode.
  • a 2D high-resolution shooting mode for generating a high-resolution flat image
  • a 2D low-resolution shooting mode for generating a 2D low-resolution image having a lower resolution than the high-resolution flat image
  • Image capture mode and a 3D capture mode (stereoscopic image capture mode) for generating a 3D image (stereoscopic image)
  • a 2D high-resolution capture mode is set, a high-resolution planar image is generated Is done.
  • the present invention is not particularly limited to the case shown in FIG.
  • a 2D image shooting mode for generating a high-resolution planar image and a 3D shooting mode for generating a 3D image are provided, and when the 2D image shooting mode is set, the high-resolution planar image is generated. Also good.
  • the pupil division method is not particularly limited to the aspect using the pupil division light shielding member 16A shown in FIGS. 3, 4A, and 4B.
  • an aspect in which the pupil is divided according to the arrangement and shape of at least one of the microlens L and the photodiode PD an aspect in which the pupil is divided by the mechanical diaphragm 14, or other aspects may be employed.
  • the arrangement of the imaging pixels in the imaging device 16 is not limited when the honeycomb arrangement shown in FIG. 2 is used.
  • a Bayer array schematically showing a part of the array in FIG. 17A or FIG. 17B may be used.
  • the pixel array (main pixel array) as the entire even-numbered column and the pixel array (sub-pixel array) as the entire odd-numbered column are both Bayer arrays, which is a double Bayer array.
  • R, G, and B are imaging pixels having red, green, and blue filters, respectively, and are adjacent to two pixels RR, GG, and BB (that is, A pixel pair is composed of neighboring pixels of the same color.
  • a pixel of the left image is configured by one pixel signal of the pixel pair, and a pixel of the right image is configured by the other pixel signal.
  • the imaging device 16 is not particularly limited to a CCD imaging device.
  • a CMOS (complementary metal-oxide semiconductor) imaging device may be used.
  • threshold values used for determination are, for example, monitor size (display screen size), monitor resolution (display screen resolution), viewing distance (distance to view the display screen) ), Calculated by the CPU 40 based on calculation conditions such as a user's stereoscopic fusion limit (there is individual differences). These calculation conditions may be set either by user setting or automatic setting. In the case of user setting, setting operation is performed by the operation unit 38 and the setting content is stored in the EEPROM 56. The monitor size and monitor resolution (display screen resolution) may be automatically acquired from a monitor (LCD 30 in FIG. 1) or the like. Further, standard conditions may be applied to calculation conditions that are not set by the user (or calculation conditions that cannot be automatically acquired).
  • SYMBOLS 10 (10a, 10b, 10c) ... Imaging device, 12 ... Imaging lens, 16 ... Imaging device, 40 ... CPU, 60 ... DSP, 62 ... Parallax map generation part, 63, 73 ... Blur pixel determination part, 64 ... Blur equality Processing unit 65... High resolution processing unit 66.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　本発明の一態様に係る画像処理装置は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える。

Description

撮像装置、画像処理装置および画像処理方法
　本発明は、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置、その撮像装置で得られた複数視点の平面画像を用いて画像処理を行う画像処理装置および画像処理方法に関する。
　従来、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置が知られている。
　特許文献１には、単一の撮影光学系を備え、絞りを回転させることで瞳分割を行って、立体視画像を生成する構成が開示されている。
　特許文献２には、単一の撮影光学系を備え、マイクロレンズアレイにより瞳分割し、位相差方式の合焦制御を行う構成が開示されている。
　特許文献３には、単一の撮影光学系と、その単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１画素群および第２画素群を配列した撮像デバイスとを備え、第１画素群により得られた平面画像および第２画素群により得られた平面画像からなる立体視画像を生成する撮像装置が開示されている。
　特許文献４には、特許文献３に記載の撮像装置において、第１画素の出力と第２画素の出力とを加算することが記載されている。
　特許文献５には、画像を複数エリアに分割し、輝度レベルが暗いなどの特定エリアに限定して画素加算を行う構成が開示されている。
特表２００９－５２７００７号公報 特開平４－２６７２１１号公報 特開平１０－４２３１４号公報 特開２００８－２９９１８４号公報 特開２００７－２５１６９４号公報
　単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置（以下「単眼３Ｄ撮像装置」という）では、複数視点の平面画像から一枚の高解像度画像を生成しようとすると、高解像度平面画像のうちで非合焦部分にノイズパターンが発生してしまう。このようなノイズパターンの発生のしくみについて、以下説明する。
　まず、図１８Ａを用いて、瞳分割をしない単眼撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明しておく。撮像デバイス１６に結像された３つの像９１ａ、９２ａ、９３ａのうち、撮像デバイス１６で焦点が合うのは、合焦面Ｄ上にある被写体９２の像９２ａだけである。被写体９１と撮影レンズ１２との間の距離は被写体９１と合焦面Ｄとの間の距離よりも長く、その合焦像９１ｄは撮像デバイス１６よりも撮影レンズ１２に近い位置に形成されるので、被写体９１の像９１ａはボケた像となる。また、被写体９３と撮影レンズ１２との間の距離は被写体９３と合焦面Ｄとの間の距離よりも短く、その合焦像９３ｄは撮像デバイス１６よりも撮影レンズ１２から遠い位置に形成されるので、被写体９３の像９３ａもボケた像となる。
　次に、瞳分割の単眼３Ｄ撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明する。本例の単眼３Ｄ撮像装置では、図１８Ｂに示すように撮影レンズ１２の瞳をシャッタ９５によって上方のみに制限した状態と、図１８Ｃに示すように撮影レンズ１２の瞳をシャッタ９５によって下方のみに制限した状態とがある。このような単眼３Ｄ撮像装置における撮像デバイス１６上の像のボケ量および位置は、図１８Ａに示した単眼撮像装置と異なる。即ち、図１８Ｂに示した状態では、図１９Ｂに示すように、被写体９１の像９１ｂは、瞳分割なしの場合（図１９Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体９３の像９３ｂは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図１８Ｃに示した状態では、図１９Ｃに示すように、被写体９１の像９１ｃは、瞳分割なしの場合（図１９Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体９３の像９３ｃは、ボケ量が小さくなり且つ位置が図中の下側に移動する。
　このような単眼３Ｄ撮像装置において、高解像度平面画像を生成するために、図１９Ｂに示した画像と図１９Ｃに示した画像とを合成すると、像９１ｂと像９１ｃ、像９３ｂと像９３ｃとで、結像位置がズレていることにより、段差状のノイズパターンが発生してしまう。即ち、高解像度平面画像のうちボケた部分に、視差に起因したノイズパターンが発生してしまうという問題がある。
　特許文献１～５には、高解像度平面画像における高解像度の維持と視差に起因するノイズパターンの解消とを両立させることができる構成について、開示がない。
　なお、特許文献４に記載の構成では、単純に近傍画素同士で画素加算を行うだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、２画素混合の場合には、解像度が１／２に低下してしまうことになる。また、特許文献５には、立体視画像を生成可能な単眼３Ｄ撮像装置が開示されておらず、視差に起因するノイズパターンを抑止することできる構成についても記載がない。
　本発明はこのような事情に鑑みてなされたもので、視差を有する複数の平面画像を合成した高解像度平面画像における合焦した主要被写体部分の解像度を維持することができるとともに視差に起因したノイズパターンを確実に解消することができる撮像装置、画像処理装置および画像処理方法を提供することを目的とする。
　前記目的を達成するために、本発明の一態様は、単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および前記第２の撮像画素群を有する撮像デバイスと、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分をボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える撮像装置を提供する。なお、ボケている「部分」の画素数は限定されない。領域ごとにあるいは画素ごとに、ボケているか否かの判定、および、ぼかし処理を行ってよい。
　即ち、前記第１の平面画像および前記第２の平面画像のうち視差量が閾値よりも大きい部分に対してぼかし処理が行われるので、視差を有する第１の平面画像および第２の平面画像を合成した高解像度平面画像における、合焦した主要被写体部分の解像度を維持することができるとともに、視差に起因したノイズパターンを確実に解消することができる。
　前記ぼかし処理として、画素値の加算平均、フィルタ処理などが挙げられる。他のぼかし処理でもよい。
　本発明の一態様では、前記視差量算出部は、前記第１の平面画像および前記第２の平面画像の各画素の視差量を算出し、前記判定部は、前記視差量が閾値よりも大きい画素はボケている画素であると判定し、前記ぼかし処理部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケている画素を含む前記画素ペアの画素間で画素値の加算平均を行う。
　また、本発明の一態様は、単一の撮影光学系と、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および前記第２の撮像画素群を有する撮像デバイスと、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい前記部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える撮像装置を提供する。なお、「撮像画素配置にて共通する部分」とは、第１の平面画像と第２の平面画像とで撮像素子が異なるので、完全に同一な部分という意味ではなく、互いに重なる領域、または、互いに近傍に位置する画素である。
　即ち、ボケ量の差が閾値よりも大きい領域に対してぼかし処理が行われるので、視差を有する第１の平面画像および第２の平面画像を合成した高解像度平面画像における、合焦した主要被写体部分の解像度を維持することができるとともに、視差に起因したノイズパターンを確実に解消することができる。
　本発明の一態様では、前記ボケ量差算出部は、前記ボケ量の差として、前記画素ペアを構成している画素間における先鋭度の差を算出する。
　本発明の一態様では、前記ぼかし処理は、前記ボケ量の差の絶対値が閾値よりも大きい前記部分における画素値の加算平均またはフィルタ処理である。
　本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアの画素間で画素値の加算平均を行う。
　本発明の一態様では、前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う。即ち、画素ペアのうちボケ量が小さい方の画素のみフィルタ処理が行われ、画素ペアのうちボケ量が大きい方の画素はフィルタ処理が行われないので、視差に起因するノイズパターンを確実に解消しつつ、ボケ量の拡大を最小限に抑えることができる。
　本発明の一態様では、前記ぼかし処理部は、少なくともボケ量の差に基づいて、フィルタ係数を決定する。
　本発明の一態様では、前記高解像度平面画像を生成する高解像度平面画像撮影モード、前記高解像度平面画像よりも解像度が低い低解像度平面画像を生成する低解像度平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、前記高解像度平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する。
　本発明の一態様では、前記高解像度平面画像を生成する平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、前記平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する。
　本発明の一態様では、前記撮像デバイスの画素配列は、ハニカム配列である。
　本発明の一態様では、前記撮像デバイスの画素配列は、ベイヤ配列である。
　また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える画像処理装置を提供する。
　また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理部と、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部とを備える画像処理装置を提供する。
　また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出するステップと、前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定するステップと、前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理ステップと、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップとを備える画像処理方法を提供する。
　また、本発明の一態様は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出ステップと、前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理ステップと、ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップとを備える画像処理方法を提供する。
　本発明によれば、視差を有する複数の平面画像を合成した高解像度平面画像における合焦した主要被写体部分の解像度を維持することができるとともに視差に起因したノイズパターンを確実に解消することができる。
本発明に係る撮像装置のハードウェア構成例を示すブロック図 撮像デバイスの構成例を示す図 撮像デバイス（主画素）の構成例を示す図 撮像デバイス（副画素）の構成例を示す図 撮像画素を示した図 図３の要部拡大図（通常画素） 図３の要部拡大図（位相差画素） 第１実施形態における撮像装置の要部ブロック図 ＲＡＷ画像、左画像、右画像および視差マップの説明に用いる説明図 第１実施形態における画像処理例の流れを示すフローチャート 視差マップ生成処理の流れを示すフローチャート 視差量の大きさとボケ量の大きさとの関係の説明に用いる説明図 第２実施形態における撮像装置の要部ブロック図 第２実施形態における画像処理例の流れを示すフローチャート ラプラシアンフィルタのフィルタ行列の一例を示す図 第３実施形態における撮像装置の要部ブロック図 先鋭度の差｜ｋ｜とガウシアンフィルタのパラメータαとの関係を示すグラフ 第３実施形態における画像処理例の流れを示すフローチャート 撮影モード選択処理の流れを示すフローチャート ベイヤ配列の例を示す模式図 ベイヤ配列の別の例を示す模式図 瞳分割なしの撮像系の要部を示す説明図 瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図 瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図 瞳分割なしの撮像系での結像の様子を示す模式図 瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図 瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図
　以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
　＜撮像装置の全体構成＞
　図１は本発明の一実施形態に係る撮像装置１０の実施の形態を示すブロック図である。
　この撮像装置１０は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）４０によって統括制御される。
　撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ（ＬＣＤ：ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｄｉｓｐｌａｙ）３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択操作用の操作部材である。
　再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作用の操作部材）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
　撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（撮影光学系）、絞り１４を介して固体撮像素子である撮像デバイス１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ１．４～Ｆ１１まで１ＡＶ刻みで６段階に絞り制御される。
　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、撮像制御部３２を介して撮像デバイス１６での電荷蓄積時間（シャッタ速度）や、撮像デバイス１６からの画像信号の読み出し制御等を行う。
　＜単眼３Ｄ撮像デバイスの構成例＞
　図２Ａから図２Ｃは撮像デバイス１６の構成例を示す図である。
　撮像デバイス１６は、それぞれマトリクス状に配列された奇数ラインの撮像画素（以下「主画素」という）と、偶数ラインの撮像画素（以下「副画素」という）とを有している。これらの主、副画素によってそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができる。
　図２Ｂに示すように、撮像デバイス１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられている。一方、図２Ｃに示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの２分の１ピッチだけライン方向にずれて配置されている。即ち、撮像デバイス１６の画素配列は、ハニカム配列となっている。
　図３は撮影レンズ１２、絞り１４、および撮像デバイス１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４Ａおよび図４Ｂは図３の要部拡大図である。
　図４Ａに示すように通常の撮像デバイスの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
　これに対し、撮像デバイス１６の主画素ＰＤａおよび副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、または左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
　なお、上記構成の撮像デバイス１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、本発明はこれに限定されるものではない。例えば、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
　図１に戻って、撮像デバイス１６に蓄積された信号電荷は、撮像制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像デバイス１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理（色補間処理）、ＹＣ処理、コントラスト強調処理、輪郭補正処理等の所定の信号処理を行う。
　また、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ　ｅｒａｓａｂｌｅ　ｐｒｏｇｒａｍｍａｂｌｅ　ｒｅａｄ－ｏｎｌｙ　ｍｅｍｏｒｙ）５６は、カメラ制御プログラム、撮像デバイス１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。
　ここで、図２Ｂおよび図２Ｃに示すように、撮像デバイス１６の奇数ラインの主画素から読み出される主画像データは、左視点の平面画像（以下「左画像」という）として処理され、偶数ラインの副画素から読み出される副画像データは、右視点の平面画像（以下「右画像」という）として処理される。
　デジタル信号処理部２４で処理された左画像および右画像は、ＶＲＡＭ（ｖｉｄｅｏ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３次元（３Ｄ）画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力される。これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
　この液晶モニタ３０は、立体視画像（左画像及び右画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置である。なお、立体表示装置は、これに限定されるものではない。例えば、レンチキュラレンズを使用するものや、ユーザが偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像デバイス１６は、ＡＦ（ａｕｔｏｍａｔｉｃ　ｆｏｃｕｓ　ａｄｊｕｓｔｍｅｎｔ）動作およびＡＥ（ａｕｔｏｍａｔｉｃ　ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４は、画面全体のＧ信号を積算し、または画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値および撮像デバイス１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定する。ＣＰＵ４０は、上記決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいて撮像制御部３２を介して撮像デバイス１６での電荷蓄積時間を制御する。
　ＡＦ処理部４２は、コントラストＡＦ処理または位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左画像データおよび右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左画像データおよび右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左画像および右画像の２枚分の画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（ｊｏｉｎｔ　ｐｈｏｔｏｇｒａｐｈｉｃ　ｅｘｐｅｒｔｓ　ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成される。このＭＰファイルは、メディアインターフェース（メディアＩ／Ｆ）５２を介して読み出され、記録メディア５４に記録される。
　以下では、本発明に係る撮像装置を各種の実施形態に分けて説明する。
　＜第１実施形態＞
　図５は、第１実施形態における撮像装置１０ａの要部ブロック図である。なお、図５において、図１に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。
　本例の単眼３Ｄ撮像システム１７は、具体的には、図１の撮影レンズ１２、絞り１４、撮像デバイス１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０を含む。即ち、単眼３Ｄ撮像システム１７は、単一の撮影レンズ１２（撮影光学系）と、単一の撮影レンズ１２の異なる領域を通過した光束をそれぞれ光電変換する主画素群および副画素群を有する撮像デバイス１６を含んいる。
　単眼３Ｄ撮像システム１７は、被写体を撮像し、図２Ｂに示した主画素（第１の撮像画素）群から出力された画素信号および図２Ｃに示した副画素（第２の撮像画素）群から出力された画素信号からなるＲＡＷ画像を生成する。ＲＡＷ画像における画素（「画像画素」ともいう）の配置は、図２Ａに示した撮像画素（フォトダイオードＰＤ）の配置に対応している。
　ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）６０は、図１のデジタル信号処理部２４を含む。なお、図５ではＣＰＵ４０とＤＳＰ６０とを別の要素として示したが、一体に形成されていてもよい。また、ＤＳＰ６０の構成要素の一部をＣＰＵ４０により構成してもよい。
　画素分離部６１は、図６に示すように、図２Ａに示した画素は位置に対応したＲＡＷ画像８０を、図２Ｂに示した主画素群の画素配置に対応した左画像８０Ｌ（第１の平面画像）と、図２Ｃに示した副画素群の画素配置に対応した右画像８０Ｒ（第２の平面画像）とに分離する。
　視差マップ生成部６２は、図６に示すように、左画像８０Ｌと右画像８０Ｒとで同一被写体の同一点を示す２つの画素同士の対応関係を検出し、その対応関係を有する画素同士の視差量△Ｘを算出して、各画素と視差量△Ｘとの対応関係を示す視差マップ８８を生成する。言い換えると、視差マップ生成部６２は、左画像８０Ｌおよび右画像８０Ｒの各部分の視差量を算出する。
　例えば、図６における左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ２ｂとのｘ方向における座標値の差△Ｘが視差量として算出される。本例の第１の視差マップ８８は、左画像８０Ｌの画素配置に対応しており、左画像８０Ｌの各画素ごとの視差量を示す。
　ボケ画素判定部６３は、視差マップ生成部６２により生成された視差マップ８８に基づいて、左画像８０Ｌおよび右画像８０Ｒの各画素の視差量（絶対値）を閾値と比較して、視差量（絶対値）が閾値よりも大きい画素はボケている画素であると判定する。即ち、ボケ画素判定部６３は、左画像８０Ｌの画素と右画像８０Ｒの画素とからなる画素ペアであって、撮像デバイス１６において互いに近傍に配置されている主画素および副画素に対応した各画素ペアのうち、少なくとも一方の画素がボケているか否かの判定を行う。例えば、図６において、左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ１ｂとが画素ペアであり、また、左画像８０Ｌの画素Ｐ２ａと右画像８０Ｒの画素Ｐ２ｂとが画素ペアである。言い換えると、ボケ画素判定部６３は、左画像８０Ｌおよび右画像８０Ｒのうち、視差量が閾値よりも大きい部分はボケている部分をボケている部分であると判定する。
　ボケ均等処理部６４は、撮像デバイス１６において互いに近傍に配置されている主画素および副画素に対応した各画素ペアに注目し、ボケている画素を含む画素ペアに対しては、画素ペアを構成している画素間でボケ量を均等にするぼかし処理を行い、ボケている画素を含まない画素ペアに対しては前記ぼかし処理を行わない。例えば、図６において、左画像８０Ｌの画素Ｐ１ａと右画像８０Ｒの画素Ｐ１ｂとで画素値の加算平均を行い、左画像８０Ｌの画素Ｐ２ａと右画像８０Ｒの画素Ｐ２ｂとで画素値の加算平均を行う。言い換えると、ボケ均等処理部６４は、左画像８０Ｌおよび右画像８０Ｒのうち、ボケている部分に対して、ぼかし処理を行う。
　高解像度画像処理部６５は、ボケ均等処理部６４による加算平均処理後の左画像８０Ｌおよび右画像８０Ｒを組み合わせる合成を行うことで、再合成したＲＡＷ画像としての一枚の高解像度平面画像（以下「高解像度平面画像」という）を生成する。ここで、高解像度平面画像は、図２Ａに示した撮像デバイス１６の全画素の画素配置に対応した平面画像データであって、本例では左画像（または右画像）の解像度に対し２倍の解像度を有する。
　立体視画像処理部６６は、ボケ均等処理部６４による加算平均処理を施していない左画像８０Ｌおよび右画像８０Ｒからなる立体視画像に対する画像処理を行う。左画像８０Ｌは、図２Ｂに示した主画素ＰＤａの画素配置に対応した平面画像データであり、右画像８０Ｒは、図２Ｃに示した副画素ＰＤｂの画素配置に対応した平面画像データである。
　ＹＣ処理部６７は、Ｒ，Ｇ，Ｂ画素信号からなる画像をＹ，Ｃ画像信号の画像に変換する。
　図５の画素分離部６１、視差マップ生成部６２、ボケ画素判定部６３、ボケ均等処理部６４および高解像度画像処理部６５によって、Ｒ，Ｇ，Ｂ画素信号からなる２Ｄ画像（高解像度平面画像、２Ｄ低解像度画像）を生成する２Ｄ画像生成装置が構成されている。また、図５の画素分離部６１および立体視画像処理部６６によって、Ｒ，Ｇ，Ｂ画素信号からなる立体視画像を生成する３Ｄ画像生成装置が構成されている。
　図７は、第１実施形態における画像処理の流れを示すフローチャートである。本処理は、プログラムに従ってＣＰＵ４０の制御により実行される。
　まず、ステップＳ１にて、単眼３Ｄ撮像システム１７により、被写体を撮像して、ＲＡＷ画像８０を取得する。即ち、図２Ａに示した撮像デバイス１６の全画素から出力された画素信号からなるＲＡＷ画像８０が、メモリ４８に格納される。
　次に、ステップＳ２にて、画素分離部６１により、ＲＡＷ画像８０を左画像８０Ｌと右画像８０Ｒとに分離する。
　次に、ステップＳ３にて、視差マップ生成部６２により、視差マップ８８を生成する。このステップＳ３を図８の詳細フローチャートに示した。まず、左画像８０Ｌおよび右画像８０Ｒのうちのいずれか一方（本例では左画像８０Ｌ）を基準画像として選択して他方（本例では右画像８０Ｒ）を追跡画像とする（ステップＳ１１）。次に、基準画像８０Ｌから注目画素を順次選択する（ステップＳ１２）。次に、基準画像８０Ｌの注目画素と特徴が一致する画素を追跡画像８０Ｒから検出して、基準画像８０Ｌの注目画素と追跡画像８０Ｒの検出された画素との対応関係をメモリ４８に記憶する（ステップＳ１３）。基準画像８０Ｌの全画素の選択が完了したか否かを判定し（ステップＳ１４）、未完了の場合にはステップＳ１２に戻り、完了した場合には視差量△Ｘの算出を行って視差マップ８８を作成する（ステップＳ１５）。即ち、左画像８０Ｌの各画素と視差量△Ｘとの対応関係を示す視差マップ８８が生成される。
　ここで、視差量△ＸとＲＡＷ画像８０に生じるノイズとの関係について説明しておく。視差量は、図９に示すように、左画像８０Ｌの画素（例えば８１ｂ、８２ｂ、８３ｂ）と、これらの画素に特徴がそれぞれ一致する右画像８０Ｒの対応画素（例えば８１ｃ、８２ｃ、８３ｃ）との座標位置の差分△Ｘ（例えば△Ｘ１、△Ｘ２、△Ｘ３）である。算出された視差量△Ｘが大きい場合、図２Ａに示した撮像デバイス１６にペアとして配置されている主画素ＰＤａと副画素ＰＤｂとで、撮像デバイス１６の受光面上の位置はほぼ同じ（近傍）であるが、受光量（入射した光量）は大きく異なっていたことになる。つまり、ＲＡＷ画像８０のうち、視差量△Ｘが大きい領域には、段差状のノイズが生じている可能性がある。もしも、このようなノイズを含んだＲＡＷ画像８０を、高解像度平面画像として扱ってコントラスト強調や輪郭補正等の画像処理を加えると、ノイズが目立って現われてしまう。そこで、後述のステップＳ４～Ｓ７では、高解像度を維持しつつノイズを解消するための画像処理を行う。
　ステップＳ４にて、基準画像（例えば左画像８０Ｌ）から注目画素を選択する。
　ステップＳ５にて、ボケ画素判定部６３により、基準画像８０Ｌに対応する視差マップ８８に基づいて注目画素の視差量の絶対値｜△Ｘ｜が閾値Ｓよりも大きいか否かを判定し、｜△Ｘ｜が閾値Ｓよりも大きい注目画素はボケているボケ画素であると判定する。例えば、図９に示した左画像８０Ｌ中の画素８１ｂおよび８３ｂは、｜△Ｘ｜が閾値Ｓよりも大きいボケ画素と判定される。同様に、右画像８０Ｒの画素８１ｃ、８３ｃもボケ画素と判定される。その一方で、｜△Ｘ｜が閾値Ｓよりも小さい画素８２ｂ、８２ｃは、ボケていない画素であると判定される。｜△Ｘ｜とノイズ量とは、｜△Ｘ｜が大きくなるほどノイズ量が右肩上がりに（若しくは比例して）大きくなる関係にある。実験や計算により｜△Ｘ｜とノイズ量との対応関係を求め、その対応関係に基づいて閾値Ｓを予め求めてＥＥＰＲＯＭ５６等に予め設定しておく。閾値Ｓの大きさは特に限定されないが、人の両眼で立体融合限界よりも十分に小さい値（立体融合限界の１／ｎ未満）である。
　ボケ画素であると判定された場合、ステップＳ６にて、ボケ均等処理部６４により、基準画像８０Ｌのボケ画素の画素値と、撮像デバイス１６の画素配置においてボケ画素のペアとして配置されている他方の平面画像８０Ｒの画素の画素値とを、加算平均する。即ち、画素ペアを構成している画素間でボケ量を均等にするぼかし処理（ボケ均等処理）を行う。
　図２Ａに示したように主画素ＰＤａと副画素ＰＤｂとが撮像デバイス１６にてペアで配置されており、左画像８０ＬのＰＤａに対応する画素と右画像８０ＲのＰＤｂに対応する画素とで、画素値が加算平均される。本例の主画素ＰＤａおよび副画素ＰＤｂは、撮像デバイス１６において互いに隣接して配置されている同色の撮像画素である。これらの２つの撮像画素の画素値の平均値は、左画像８０Ｌの画素および右画像８０Ｒの画素の両方に、設定される。
　ステップＳ７にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ４に戻り、完了した場合にはステップＳ８に進む。
　ステップＳ８にて、高解像度画像処理部６５により、左画像８０Ｌと右画像８０Ｒとを合成することで、１枚の高解像度平面画像を生成する。
　ステップＳ９にて、ＹＣ処理部６７により、Ｒ，Ｇ，Ｂ画素信号からなる高解像度画像を、Ｙ（輝度）信号およびＣ（色差）信号からなる高解像度画像に変換するＹＣ処理を行う。
　本実施形態では、高解像度平面画像の全領域のうち、ボケ量が大きい部分のみを加算平均の対象領域として限定するため、ピントが合っている主要被写体の解像度を劣化させることなく、ノイズを抑制することができる。
　なお、ボケている「部分」の画素数は限定されない。領域ごとにあるいは画素ごとに、ボケているか否かの判定、および、ぼかし処理を行ってよい。また、ぼかし処理として、画素値の加算平均のみ示したが、後述のフィルタ処理（例えばガウシアンフィルタ）によりぼかし処理を行ってもよい。
　＜第２実施形態＞
　図１０は、第２実施形態における撮像装置１０ｂの要部ブロック図である。なお、図５に示した第１実施形態の撮像装置１０ａと同じ構成要素には同じ符号を付してあり、第１実施形態にて説明した事項については以下ではその説明を省略する。
　先鋭度比較部７２（ボケ量差算出部）は、撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂにそれぞれ対応した左画像の画素と右画像の画素との間で先鋭度を比較して、先鋭度差を算出する。
　画素間の先鋭度差は、画素間のボケ量の差を示しており、先鋭度差が大きいほど画素間でボケ量の差が大きい。即ち、先鋭度比較部７２は、左画像の画素と右画像の画素とからなる画素ペアであって撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂに対応した各画素ペアに注目し、画素ペアを構成している画素間で、ボケ量の差を示す先鋭度差を算出する。言い換えると、先鋭度比較部７２は、左画像８０Ｌの各部分と右画像８０Ｒの各部分とのボケ量の差であって、撮像デバイス１６の撮像画素配置にて共通する部分間のボケ量の差を算出する。なお、「撮像画素配置にて共通する部分」とは、第１の平面画像と第２の平面画像とで撮像素子が異なるので、完全に同一な部分という意味ではなく、互いに重なる領域、または、互いに近傍に位置する画素である。
　本実施形態のボケ画素判定部７３は、先鋭度比較部７２により算出された先鋭度差（ボケ量の差）の絶対値を閾値と比較する。ボケ画素判定部７３は、先鋭度差の絶対値が閾値よりも大きい画素ペアに対しては、画素ペアを構成している画素間で加算平均を行うと判定する。一方、ボケ画素判定部７３は、先鋭度差の絶対値が閾値以下である画素ペアに対しては、加算平均を行わないと判定する。言い換えると、ボケ画素判定部７３は、左画像８０Ｌおよび右画像８０Ｒのうちボケ量の差の絶対値が閾値よりも大きい部分に対して、ぼかし処理を行うと判定する。
　ボケ均等処理部６４は、ボケ画素判定部７３の判定結果に応じて、画素ペアを構成している画素間で画素値の加算平均を行う。つまり、ボケ均等処理部６４は、左画像および右画像の各画素に注目し、先鋭度差の絶対値が閾値よりも大きい場合には、撮像デバイス１６において互いに近傍に配置されている主画素ＰＤａおよび副画素ＰＤｂにそれぞれ対応した画素同士を加算平均する。一方、ボケ均等処理部６４は、先鋭度差の絶対値が閾値以下である場合には、加算平均を行わない。即ち、ボケ均等処理部６４は、ボケ量の差の絶対値が閾値よりも大きい部分に対しては、ぼかし処理を行う。
　図１１は、第２実施形態における画像処理例の流れを示すフローチャートである。
　ステップＳ２１およびＳ２２は、図７に示した第１実施形態のステップＳ１およびＳ２とそれぞれ同様である。
　ステップＳ２３にて、基準画像（例えば左画像８０Ｌ）で注目画素を選択する。
　ステップＳ２４にて、先鋭度比較部７２により、撮像デバイス１６の画素配置にてペアとして配置されている左画像８０Ｌの画素と右画像８０Ｒの画素とで、先鋭度差を算出する。例えば、左画像８０Ｌの画素および右画像８０Ｒの画素の各々について先鋭度Ｓａ、Ｓｂを算出し、これらの先鋭度の差分(ｋ＝Ｓａ－Ｓｂ)を算出する。
　各画素の先鋭度の算出は、ラプラシアンフィルタ処理により行う。ラプラシアンフィルタのフィルタ行列の一例を図１２に示す。ラプラシアンフィルタ処理によりエッジ検出を行うことができ、出力値の絶対値が先鋭度を示す。ボケ量が小さい画素ほど先鋭度が大きくなり、ボケ量が大きい画素ほど先鋭度が小さくなる。なお、ラプラシアンフィルタは本例に限定されるものではない。また、ラプラシアンフィルタ以外のフィルタを用いて先鋭度を算出してもよい。
　ステップＳ２５にて、ボケ画素判定部７３により、先鋭度差の絶対値｜ｋ｜が閾値ｋｔｈよりも大きいか否かを判定する。｜ｋ｜が閾値ｋｔｈよりも大きい場合には、ペアの画素間でボケ量の差が大きいので、視差量に起因したノイズが発生している可能性がある。
　ステップＳ２６にて、ボケ均等処理部６４により、先鋭度差の絶対値｜ｋ｜が閾値ｋｔｈよりも大きいペアの画素同士で画素値の加算平均を行う。
　ステップＳ２７にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ２３に戻り、完了した場合にはステップＳ２８に進む。
　ステップＳ２８およびＳ２９は、図７に示した第１実施形態のステップＳ８およびＳ９とそれぞれ同様である。
　本実施形態では、高解像度平面画像の全領域のうち、ボケ量の差が大きい部分のみを加算平均の対象領域として限定することができるため、ピントが合っている主要被写体の解像度を劣化させることなく、ノイズを抑制することができる。
　＜第３実施形態＞
　次に、第３実施形態について、説明する。第３実施形態では、加算平均ではなく、フィルタ処理を適用して、画素ペアのうちボケ量がより少ない方の画素のみ先鋭度を低下させることで、視差に起因するノイズを抑制する。つまり、ボケ量がより少ない方の画素のみをよりぼかす処理を行う。
　図１３は、第３実施形態における撮像装置の要部構成を示すブロック図である。なお、図１０に示した第２実施形態の撮像装置と同じ構成要素には同じ符号を付してあり、説明済みの事項については以下ではその説明を省略する。
　本実施形態のボケ画素判定部７３は、先鋭度比較部７２により算出された先鋭度差（ボケ量の差）の絶対値を閾値と比較する。そして、ボケ画素判定部７３は、先鋭度差の絶対値が閾値よりも大きい場合には、先鋭度差の符号が正であるか否かに基づいて、撮像デバイス１６において互いに近傍に配置されている２つの撮像画素にそれぞれ対応した左画像および右画像の２つ画素（画素ペア）のうち、いずれの画素のボケ量が大きいかを判定する。
　ぼかしフィルタ処理部７４は、先鋭度差（ボケ量の差）の絶対値が閾値よりも大きい画素ペアに対しては、画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う。一方、ぼかしフィルタ処理部７４は、先鋭度差の絶対値が閾値以下である画素ペアに対しては、前記フィルタ処理を行わない。
　フィルタとして、例えばガウシアンフィルタを用いる。ガウシアンフィルタ係数ｆ（ｘ）を次の数１に示す。
Figure JPOXMLDOC01-appb-M000001
　図１４は、先鋭度差｜ｋ｜とガウシアンフィルタのパラメータαとの関係を示すグラフである。｜ｋ｜が閾値ｋｔｈ以上であるとき、｜ｋ｜と比例関係にあるαが求められ、そのαに対応するガウシアンフィルタ係数ｆ（ｘ）を決定する。αからｆ（ｘ）を算出するには、上記数１を用いて演算を行い、算出されたｆ（ｘ）の総和が「１」になるように正規化を行えばよい。
　デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば、５タップフィルタの場合、ｆ（ｘ）＝｛０．１、０．２、０．４、０．２、０．１｝等となる。なお、一般には、画像の明るさが変動しないよう、各係数の総和が「１．０」になるように正規化される。ここでは１次元のフィルタ係数で表現しているが、フィルタ処理を水平方向および垂直方向に順に施すことにより、２次元のフィルタ処理を行ってもよい。また、ガウシアンフィルタ以外のフィルタ（例えばローパスフィルタ）を用いてもよい。
　なお、ぼかしフィルタ処理部７４は、ボケ量の差（本例では先鋭度差）、撮影時の焦点距離、および、撮影時の絞り値のうち、少なくともひとつに基づいて、フィルタ係数を決定することが、好ましい。
　図１５は、第３実施形態における画像処理の流れを示すフローチャートである。
　ステップＳ３１およびＳ３２は、図７に示した第１実施形態のステップＳ１およびＳ２とそれぞれ同様である。
　ステップＳ３３にて、左画像を基準画像に設定する。
　ステップＳ３４にて、基準画像で注目画素を選択する。
　ステップＳ３５にて、先鋭度比較部７２により、撮像デバイス１６においてペアで配置されている主画素ＰＤａおよびＰＤｂにそれぞれ対応する左画像８０Ｌの画素と右画像８０Ｒの画素とで、先鋭度差を算出する。（先鋭度差）＝（右画像８０Ｒの画素の先鋭度）－（左画像８０Ｌの画素の先鋭度）である。
　ステップＳ３６にて、ボケ画素判定部７３により、先鋭度差の絶対値｜ｋ｜が閾値ｋｔｈよりも大きいか否かを判定する。｜ｋ｜が閾値ｋｔｈよりも大きい場合には、ペアの画素間でボケ量の差が大きいので、視差量に起因したノイズが発生している可能性がある。
　ステップＳ３７にて、フィルタ係数を決定する。
　ステップＳ３８にて、先鋭度差ｋが正であるか否かを判定する。先鋭度差ｋが正である場合には、ステップＳ３９にて、右画像の画素に対してフィルタ処理を行う。一方、先鋭度差ｋが正でない場合には、ステップＳ４０にて、左画像の画素に対してフィルタ処理を行う。即ち、先鋭度が高い方の画素に対しフィルタ処理を適用して先鋭度を低下させることで、ボケ量の差分を抑制する。
　ステップＳ４０にて、全画素の選択を完了したか否かを判定する。未完了の場合にはステップＳ３４に戻り、完了した場合にはステップＳ４１に進む。
　ステップＳ４２およびＳ４３は、図７に示した第１実施形態のステップＳ８およびＳ９とそれぞれ同様である。
　第３実施形態では、先鋭度比較部７２により、左画像の各部分と右画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出し、ぼかしフィルタ処理部７４により、左画像および右画像のうちボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行っている。従って、視差に起因するノイズパターンを確実に解消しつつ、ボケ量の拡大を最小限に抑えることができる。
　図１６は、図１の撮像装置１０における撮影モード選択処理の流れを示すフローチャートである。本処理は図１のＣＰＵ４０により実行される。なお、本処理は第１実施形態から第３実施のうちでいずれの実施形態で行ってもよい。
　電源がオンされると撮像装置１０はスタンバイ状態になる（ステップＳ５１）。スタンバイ状態では、操作部３８により撮影モードの選択指示操作を受け付ける。
　選択指示操作を受け付けると、選択指示された撮影モードが２Ｄ撮影モードであるか３Ｄ撮影モードであるかを判定する（ステップＳ５２）。
　選択指示された３Ｄ撮影モードである場合には、３Ｄ撮影モードを設定する（ステップＳ５３）。
　選択指示された２Ｄ撮影モードである場合には、記録画素数が（撮像デバイス１６の有効画素数／２）よりも大きいか否かを判定する（ステップＳ５４）。記録画素数が（撮像デバイス１６の有効画素数／２）よりも大きい場合には、２Ｄ高解像度撮影モードを設定する（ステップＳ５５）。一方、記録画素数が（撮像デバイス１６の有効画素数／２）以下の場合には、２Ｄ低解像度撮影モードを設定する（ステップＳ５６）。２Ｄ低解像度撮影モードでは、記録する２Ｄ画像の解像度を、例えば２Ｄ高解像度撮影モードの１／２に設定する。
　３Ｄ撮影モードでは、左画像および右画像の各々に対し、通常のベイヤ処理を行う。
　２Ｄ低解像度撮影モード処理では、全画素に対し、加算平均処理を行うことで、視差に起因するパタンノイズの発生を抑える。
　本例では、高解像度平面画像を生成する２Ｄ高解像度撮影モード（高解像度平面画像撮影モード）、高解像度平面画像よりも解像度が低い２Ｄ低解像度画像を生成する２Ｄ低解像度撮影モード（低解像度平面画像撮影モード）、および、３Ｄ画像（立体視画像）を生成する３Ｄ撮影モード（立体視画像撮影モード）を有し、２Ｄ高解像度撮影モードが設定されている場合に、高解像度平面画像が生成される。
　本発明は、図１６に示した場合には特に限定されない。例えば、高解像度平面画像を生成する２Ｄ画像撮影モード、および、３Ｄ画像を生成する３Ｄ撮影モードを有し、２Ｄ画像撮影モードが設定されているときに、高解像度平面画像を生成するようにしてもよい。
　なお、本発明において、瞳分割の方式は、図３、図４Ａおよび図４Ｂに示した瞳分割用の遮光部材１６Ａを用いる態様には特に限定されない。例えば、マイクロレンズＬおよびフォトダイオードＰＤのうちで少なくとも一方の配置や形状により瞳分割する態様でもよいし、機械的な絞り１４により瞳分割する態様でもよいし、それ以外の態様でもよい。
　また、撮像デバイス１６における撮像画素の配列は、図２に示したハニカム配列である場合には、限定されない。図１７Ａまたは図１７Ｂに配列の一部を模式的に示すベイヤ配列であってもよい。具体的には、偶数列全体としての画素配列（主画素配列）および奇数列全体としての画素配列（副画素配列）がいずれもベイヤ配列である、ダブルのベイヤ配列となっている。図１７Ａおよび図１７Ｂにおいて、Ｒ、Ｇ，Ｂは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するＲ－Ｒ、Ｇ－Ｇ、Ｂ－Ｂの２つの画素（即ち近傍の同色画素）により画素ペアが構成されている。画素ペアのうち一方の画素信号により左画像の画素が構成され、他方の画素信号により右画像の画素が構成される。
　また、撮像デバイス１６は、ＣＣＤ撮像デバイスに特に限定されない。例えば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ－ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイスであってもよい。
　また、前述の第１実施形態から第３実施形態において、判定に用いる閾値は、例えば、モニタサイズ（表示画面のサイズ）、モニタ解像度（表示画面の解像度）、観視距離（表示画面を見る距離）、ユーザの立体視融合限界（個人差がある）などの算出条件に基づいて、ＣＰＵ４０により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部３８により設定操作が行われ、その設定内容がＥＥＰＲＯＭ５６に記憶される。モニタサイズおよびモニタ解像度（表示画面の解像度）は、モニタ（図１のＬＣＤ３０）等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件（または自動取得できなかった算出条件）については、標準的な条件を適用してもよい。
　本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
　１０（１０ａ、１０ｂ、１０ｃ）…撮像装置、１２…撮像レンズ、１６…撮像デバイス、４０…ＣＰＵ、６０…ＤＳＰ、６２…視差マップ生成部、６３、７３…ボケ画素判定部、６４…ボケ均等処理部、６５…高解像度処理部、６６…立体視画像処理部、７２…先鋭度比較部、７４…ぼかしフィルタ処理部、８０…ＲＡＷ画像、８０Ｌ…左画像（第１の平面画像）、８０Ｒ…右画像（第２の平面画像）、８８…視差マップ

Claims (17)

  1. 　単一の撮影光学系と、
    　前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および前記第２の撮像画素群を有する撮像デバイスと、
    　前記第１の撮像画素群の画素信号に基づく前記第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、
    　前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出する視差量算出部と、
    　前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分をボケている部分であると判定する判定部と、
    　前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、
    　ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
    　を備える撮像装置。
  2. 　前記ぼかし処理は、前記視差量が閾値よりも大きい部分における画素値の加算平均またはフィルタ処理である、請求項１に記載の撮像装置。
  3. 　前記視差量算出部は、前記第１の平面画像および前記第２の平面画像の各画素の視差量を算出し、
    　前記判定部は、前記視差量が閾値よりも大きい画素はボケている画素であると判定し、
    　前記ぼかし処理部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目し、前記ボケている画素を含む前記画素ペアの画素間で画素値の加算平均を行う、請求項１に記載の撮像装置。
  4. 　単一の撮影光学系と、
    　前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および前記第２の撮像画素群を有する撮像デバイスと、
    　前記第１の撮像画素群の画素信号に基づく前記第１の平面画像と前記第２の撮像画素群の画素信号に基づく第２の平面画像とからなる立体視画像を生成する立体視画像生成部と、
    　前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、
    　前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい前記部分に対してぼかし処理を行うぼかし処理部と、
    　ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
    　を備える撮像装置。
  5. 　前記ボケ量差算出部は、前記ボケ量の差として、前記画素ペアを構成している画素間における先鋭度の差を算出する、請求項４に記載の撮像装置。
  6. 　前記ぼかし処理は、前記ボケ量の差の絶対値が閾値よりも大きい前記部分における画素値の加算平均またはフィルタ処理である、請求項４または５に記載の撮像装置。
  7. 　前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、
    　前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアの画素間で画素値の加算平均を行う、請求項４または５に記載の撮像装置。
  8. 　前記ボケ量差算出部は、前記第１の平面画像の画素と前記第２の平面画像の画素とからなる画素ペアであって前記撮像デバイスにおいて互いに近傍に配置されている前記第１の撮像画素および前記第２の撮像画素に対応した各画素ペアに注目して、前記画素ペアを構成している画素間でボケ量の差を算出し、
    　前記ぼかし処理部は、前記ボケ量の差の絶対値が閾値よりも大きい前記画素ペアのうちボケ量が小さい方の画素のみをぼかすフィルタ処理を行う、請求項４または５に記載の撮像装置。
  9. 　前記ぼかし処理部は、少なくともボケ量の差に基づいて、フィルタ係数を決定する、請求項８に記載の撮像装置。
  10. 　前記高解像度平面画像を生成する高解像度平面画像撮影モード、前記高解像度平面画像よりも解像度が低い低解像度平面画像を生成する低解像度平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、
    　前記高解像度平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する、請求項１ないし９のうちいずれか１項に記載の撮像装置。
  11. 　前記高解像度平面画像を生成する平面画像撮影モード、および、前記立体視画像を生成する立体視画像撮影モードを有し、
    　前記平面画像撮影モードが設定されている場合に前記高解像度平面画像を生成する、請求項１ないし１０のうちいずれか１項に記載の撮像装置。
  12. 　前記撮像デバイスの画素配列は、ハニカム配列である、請求項１ないし１１のうちいずれか１項に記載の撮像装置。
  13. 　前記撮像デバイスの画素配列は、ベイヤ配列である、請求項１ないし１１のうちいずれか１項に記載の撮像装置。
  14. 　単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分の視差量を算出する視差量算出部と、
    　前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定する判定部と、
    　前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理部と、
    　ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
    　を備える画像処理装置。
  15. 　単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像して得られる、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出部と、
    　前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理部と、
    　ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成する高解像度平面画像生成部と、
    　を備える画像処理装置。
  16. 　単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、
    　前記第１の平面画像および前記第２の平面画像の各部分の視差量を算出するステップと、
    　前記第１の平面画像および前記第２の平面画像のうち前記視差量が閾値よりも大きい部分はボケている部分であると判定するステップと、
    　前記第１の平面画像および前記第２の平面画像のうち前記ボケている部分に対してぼかし処理を行うぼかし処理ステップと、
    　ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップと、
    　を備える画像処理方法。
  17. 　単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の撮像画素群および第２の撮像画素群を有する撮像デバイスにより被写体を撮像した場合に、前記第１の撮像画素群の画素信号に基づく前記第１の平面画像および前記第２の撮像画素群の画素信号に基づく第２の平面画像から、一枚の高解像度平面画像を生成するステップと、
    　前記第１の平面画像の各部分と前記第２の平面画像の各部分とのボケ量の差であって、前記撮像デバイスの撮像画素配置にて共通する部分間のボケ量の差を算出するボケ量差算出ステップと、
    　前記第１の平面画像および前記第２の平面画像のうち前記ボケ量の差の絶対値が閾値よりも大きい部分に対してぼかし処理を行うぼかし処理ステップと、
    　ぼかし処理後の前記第１の平面画像および前記第２の平面画像を合成して一枚の高解像度平面画像を生成するステップと、
    　を備える画像処理方法。
PCT/JP2011/061805 2010-06-30 2011-05-24 撮像装置、画像処理装置および画像処理方法 WO2012002071A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012522516A JP5470458B2 (ja) 2010-06-30 2011-05-24 撮像装置、画像処理装置および画像処理方法
CN201180032246.1A CN103039066B (zh) 2010-06-30 2011-05-24 成像装置、图像处理装置以及图像处理方法
US13/725,858 US20130107019A1 (en) 2010-06-30 2012-12-21 Imaging device, image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-149789 2010-06-30
JP2010149789 2010-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/725,858 Continuation US20130107019A1 (en) 2010-06-30 2012-12-21 Imaging device, image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2012002071A1 true WO2012002071A1 (ja) 2012-01-05

Family

ID=45401805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061805 WO2012002071A1 (ja) 2010-06-30 2011-05-24 撮像装置、画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20130107019A1 (ja)
JP (1) JP5470458B2 (ja)
CN (1) CN103039066B (ja)
WO (1) WO2012002071A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168667A1 (ja) * 2012-05-09 2013-11-14 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP2014045275A (ja) * 2012-08-24 2014-03-13 Olympus Corp 画像処理装置、撮像装置及び画像処理方法
CN104205827A (zh) * 2012-03-30 2014-12-10 富士胶片株式会社 图像处理装置及方法、以及摄像装置
US10027942B2 (en) 2012-03-16 2018-07-17 Nikon Corporation Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150185308A1 (en) * 2014-01-02 2015-07-02 Katsuhiro Wada Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program
JP6622481B2 (ja) * 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
CN106127681B (zh) * 2016-07-19 2019-08-13 刘牧野 一种图像采集方法、虚拟现实图像传输方法及显示方法
US10255676B2 (en) * 2016-12-23 2019-04-09 Amitabha Gupta Methods and systems for simulating the effects of vision defects
WO2018163843A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
CN110033463B (zh) * 2019-04-12 2021-06-04 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统
CN111385481A (zh) * 2020-03-30 2020-07-07 北京达佳互联信息技术有限公司 图像处理方法及装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042314A (ja) * 1996-07-22 1998-02-13 Fuji Photo Film Co Ltd 視差画像入力装置
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
JP2008299184A (ja) * 2007-06-01 2008-12-11 Nikon Corp 撮像装置および焦点検出装置
JP4760915B2 (ja) * 2009-01-08 2011-08-31 ソニー株式会社 固体撮像素子
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
CN101702781A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 基于光流法的2d转3d方法
CN102934025B (zh) * 2010-06-30 2015-07-22 富士胶片株式会社 摄像装置及摄像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042314A (ja) * 1996-07-22 1998-02-13 Fuji Photo Film Co Ltd 視差画像入力装置
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027942B2 (en) 2012-03-16 2018-07-17 Nikon Corporation Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon
CN104205827A (zh) * 2012-03-30 2014-12-10 富士胶片株式会社 图像处理装置及方法、以及摄像装置
US9277201B2 (en) 2012-03-30 2016-03-01 Fujifilm Corporation Image processing device and method, and imaging device
CN104205827B (zh) * 2012-03-30 2016-03-16 富士胶片株式会社 图像处理装置及方法、以及摄像装置
WO2013168667A1 (ja) * 2012-05-09 2013-11-14 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
CN104272732A (zh) * 2012-05-09 2015-01-07 富士胶片株式会社 图像处理装置、方法及摄像装置
JP5687803B2 (ja) * 2012-05-09 2015-03-25 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
US9288472B2 (en) 2012-05-09 2016-03-15 Fujifilm Corporation Image processing device and method, and image capturing device
CN104272732B (zh) * 2012-05-09 2016-06-01 富士胶片株式会社 图像处理装置、方法及摄像装置
JP2014045275A (ja) * 2012-08-24 2014-03-13 Olympus Corp 画像処理装置、撮像装置及び画像処理方法

Also Published As

Publication number Publication date
CN103039066A (zh) 2013-04-10
US20130107019A1 (en) 2013-05-02
JP5470458B2 (ja) 2014-04-16
CN103039066B (zh) 2016-01-27
JPWO2012002071A1 (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
JP5470458B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP5640143B2 (ja) 撮像装置及び撮像方法
JP5192096B2 (ja) 立体撮像装置
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP5690396B2 (ja) 撮像装置およびシェーディング補正方法
JP5421829B2 (ja) 撮像装置
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5502205B2 (ja) 立体撮像装置および立体撮像方法
JP5368350B2 (ja) 立体撮像装置
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
JP5475384B2 (ja) 撮像装置及び撮像方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5628914B2 (ja) 撮像装置および撮像方法
WO2013027507A1 (ja) 撮像装置
JP5595505B2 (ja) 立体撮像装置および立体撮像方法
JP2012124650A (ja) 撮像装置および撮像方法
JP2014063190A (ja) 撮像装置
JP5649837B2 (ja) 立体撮像装置
JP2011077680A (ja) 立体撮影装置および撮影制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180032246.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800540

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012522516

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800540

Country of ref document: EP

Kind code of ref document: A1