WO2012001853A1 - ３次元撮像装置および光透過板 - Google Patents

３次元撮像装置および光透過板 Download PDF

Info

Publication number
WO2012001853A1
WO2012001853A1 PCT/JP2011/002379 JP2011002379W WO2012001853A1 WO 2012001853 A1 WO2012001853 A1 WO 2012001853A1 JP 2011002379 W JP2011002379 W JP 2011002379W WO 2012001853 A1 WO2012001853 A1 WO 2012001853A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
region
transmission
regions
image
Prior art date
Application number
PCT/JP2011/002379
Other languages
English (en)
French (fr)
Inventor
平本　政夫
育規 石井
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/498,331 priority Critical patent/US9086620B2/en
Priority to CN201180003195.XA priority patent/CN102474649B/zh
Publication of WO2012001853A1 publication Critical patent/WO2012001853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Definitions

  • the present invention relates to a monocular three-dimensional imaging technique for generating a plurality of images having parallax.
  • image sensors In recent years, there has been a remarkable increase in functionality and performance of digital cameras and digital movies using solid-state image sensors such as CCDs and CMOSs (hereinafter sometimes referred to as “image sensors”).
  • image sensors due to advances in semiconductor manufacturing technology, the pixel structure in a solid-state image sensor has been miniaturized. As a result, higher integration of pixels and drive circuits of solid-state image sensors has been attempted. For this reason, in a few years, the number of pixels of the image sensor has increased significantly from about 1 million pixels to over 10 million pixels. Furthermore, the quality of the image obtained by imaging has improved dramatically.
  • a thin liquid crystal display or a plasma display enables high-resolution and high-contrast display without taking up space, and high performance is realized.
  • Such a flow of improving the quality of video is spreading from a two-dimensional image to a three-dimensional image.
  • polarized glasses are required, but high-quality three-dimensional display devices are being developed.
  • a representative technique having a simple configuration includes a technique of acquiring an image for the right eye and an image for the left eye, respectively, using an imaging system including two cameras.
  • an imaging system including two cameras In such a so-called two-lens imaging method, since two cameras are used, the imaging apparatus becomes large and the cost can be high. Therefore, a method of acquiring a plurality of images having parallax using one camera has been studied.
  • Patent Document 1 discloses a method using two polarizing plates whose transmission axes are orthogonal to each other and a rotating polarizing filter.
  • FIG. 12 is a schematic diagram showing a configuration of an imaging system according to the method.
  • the imaging device includes a polarizing plate 11 with 0-degree polarization, a polarizing plate 12 with 90-degree polarization, a reflecting mirror 13, a half mirror 14, a circular polarizing filter 15, a driving device 16 that rotates the circular polarizing filter, the optical lens 3, and an optical device.
  • An imaging device 9 that acquires an image formed by the lens is provided.
  • the half mirror 14 reflects the light transmitted through the polarizing plate 11 and reflected by the reflecting mirror 13, and transmits the light transmitted through the polarizing plate 12.
  • the light transmitted through the polarizing plates 11 and 12 disposed at remote locations passes through the half mirror 14, the circular polarizing filter 15, and the optical lens 3, and enters the imaging device 9, and the image Is acquired.
  • the principle of imaging in this method is that by rotating the circular polarizing filter 15, light incident on each of the two polarizing plates 11 and 12 is captured at different timings, and two images having parallax are acquired. That's it.
  • Patent Document 2 discloses a method of simultaneously capturing two images with parallax without using mechanical drive.
  • An image pickup apparatus does not have a mechanical drive unit by collecting light incident from two incident areas with a reflecting mirror and receiving the light with an image pickup element in which two types of polarizing filters are alternately arranged. Two images with parallax are acquired.
  • FIG. 13 is a schematic diagram showing the configuration of the imaging system in this method.
  • This imaging system includes two polarizing plates 11 and 12 whose transmission axes are orthogonal to each other, a reflecting mirror 13, an optical lens 3, and an imaging device 1.
  • the imaging device 1 includes a plurality of pixels 10 and polarizing filters 17 and 18 arranged in a one-to-one correspondence with the pixels on the imaging surface.
  • the polarizing filters 17 and 18 are alternately arranged on all pixels.
  • the directions of the transmission axes of the polarizing filters 17 and 18 coincide with the directions of the transmission axes of the polarizing plates 11 and 12, respectively.
  • incident light passes through the polarizing plates 11 and 12, is reflected by the reflecting mirror 13, passes through the optical lens 3, and enters the imaging surface of the imaging device 1.
  • Light that passes through the polarizing plates 11 and 12 and enters the image sensor 1 passes through the polarizing filters 17 and 18 and is photoelectrically converted by the pixels immediately below them.
  • the polarizing filters 17 and 18 are obtained from the pixel group facing to each other.
  • the amount of light received by the image sensor is greatly reduced because the amount of light decreases when incident light passes through the polarizing plate and the polarizing filter.
  • Patent Document 3 a technique that can acquire two images having parallax and a normal image with one image sensor is disclosed in Patent Document 3.
  • two images having a parallax and a normal image are combined into one image sensor by mechanically switching some of the constituent elements when acquiring two images having a parallax and acquiring a normal image. Obtained at.
  • the point that two polarizing filters are arranged on the optical path when acquiring two images having parallax is the same as the technique disclosed in Patent Document 2.
  • these polarizing filters are mechanically removed from the optical path.
  • Patent Document 4 discloses a technique for simultaneously acquiring two images having parallax using a color filter.
  • FIG. 14 is a diagram schematically showing an imaging system using this technique.
  • the imaging system in this technique includes a lens 3, a lens diaphragm 19, a light flux limiting plate 20 on which two color filters 20a and 20b having different transmission wavelength ranges are arranged, and a photosensitive film 21.
  • the color filters 20a and 20b are filters that transmit, for example, red and blue light, respectively.
  • the incident light passes through the lens 3, the lens diaphragm 19, and the light beam limiting plate 20, and forms an image on the photosensitive film.
  • a magenta color image is formed on the photosensitive film by the light transmitted through the two color filters.
  • the positions of the color filters 20a and 20b are different, parallax occurs in the image formed on the photosensitive film.
  • an image having parallax can be created using two color filters.
  • FIG. 15 is a diagram schematically showing a light flux limiting plate in this technique.
  • a light flux limiting plate in which an R region 22R that transmits red light, a G region 22G that transmits green light, and a B region 22B that transmits blue light are provided on a plane perpendicular to the optical axis of the imaging optical system. 22 is used.
  • the light transmitted through these areas is received by a color imaging device having R pixels for red, G pixels for green, and B pixels for blue, whereby an image of light transmitted through each area is acquired.
  • Patent Document 6 discloses a technique for acquiring a plurality of images having parallax using a configuration similar to the configuration of FIG.
  • FIG. 16 is a diagram schematically showing the light flux limiting plate disclosed in Patent Document 6. As shown in FIG. Also with this technique, an image with parallax can be created by transmitting incident light through the R region 23R, the G region 23G, and the B region 23B provided on the light flux limiting plate 23.
  • an image with parallax can be generated by arranging RGB color filters on the light flux limiting plate.
  • the amount of incident light is reduced.
  • Patent Document 7 discloses a technique capable of obtaining a plurality of images having parallax and a normal image having no problem in light quantity by using an aperture having RGB color filters. Yes.
  • this technique only light that has passed through the RGB color filter is received when the diaphragm is closed, and the RGB color filter area is removed from the optical path when the diaphragm is opened, so that all incident light can be received. .
  • an image with parallax can be obtained when the diaphragm is closed, and a normal image with a high light utilization rate can be obtained when the diaphragm is opened.
  • a plurality of images having parallax can be acquired, but the amount of light received by the imaging device is reduced because a polarizing plate or a color filter is used.
  • a mechanism for removing the polarizing plate or the color filter from the optical path by mechanical driving When such a mechanical drive is used, there is a problem that the apparatus is increased in size and cost.
  • the present invention provides a three-dimensional imaging technique capable of generating a plurality of images having parallax using a color filter and generating an image with a high light utilization rate without performing mechanical driving. Furthermore, an object of the present invention is to provide an imaging technique and an optical configuration that can acquire a plurality of images having parallax by the same mechanism even when the lens aperture amount changes.
  • the three-dimensional imaging device of the present invention is arranged to receive a light transmission portion having N transmission regions (N is an integer of 3 or more) having different transmission wavelength ranges, and light transmitted through the light transmission portion.
  • the solid-state imaging device includes a photosensitive cell array and a color filter array disposed to face the photosensitive cell array.
  • the photosensitive cell array and the color filter array are composed of a plurality of unit elements, and each unit element is arranged in one-to-one correspondence with the N photosensitive cells and the N photosensitive cells.
  • N color filters having different transmission wavelength ranges are included.
  • the center of the light transmission part is located on the optical axis of the optical system, and at least two of the N transmission regions have a size in a direction perpendicular to the radial direction of the light transmission part of the light transmission part. It has a portion that increases in accordance with the distance from the center.
  • At least N ⁇ 1 of the N transmissive regions have a portion in which the size of the light transmissive portion in the direction perpendicular to the radial direction increases according to the distance from the center of the light transmissive portion. is doing.
  • At least N ⁇ 1 of the N transmission regions have a fan shape with the center of the light transmission portion as a vertex.
  • N 3
  • the N transmission regions are a cyan region that transmits cyan light, a yellow region that transmits yellow light, and a transparent region, respectively, and the shape of the cyan region and the The yellow region has a sector shape.
  • N 4
  • the N transmission regions are a cyan region that transmits cyan light, a yellow region that transmits yellow light, a magenta region that transmits magenta light, and a transparent region, respectively.
  • the shape of the cyan region, the shape of the yellow region, and the shape of the magenta region are fan-shaped.
  • the transmission wavelength range of the N transmission regions and the N color filters is such that light transmitted through at least one of the N transmission regions passes through at least two of the N color filters.
  • the signal processing unit is configured to transmit light, and the signal processing unit determines at least two intensities of light incident on each of the N transmission regions based on a signal output from the N photosensitive cells. Data of at least two images having parallax is generated by generating a signal to indicate.
  • the light transmission plate of the present invention is a light transmission plate having N (N is an integer of 3 or more) transmission regions having different transmission wavelength ranges, and at least two of the N transmission regions are arranged in a radial direction. There is a portion in which the size in the direction perpendicular to is increased in accordance with the distance from the center.
  • At least two of the N transmissive regions have a fan shape with the center as a vertex.
  • At least N ⁇ 1 of the N transmissive regions have a fan shape with the center at the top.
  • N 3 and the N transmission regions are a cyan region that transmits cyan light, a yellow region that transmits yellow light, and a transparent region, respectively.
  • the shape of the cyan region and the shape of the yellow region are fan-shaped.
  • N 4
  • the N transmission regions are a cyan region that transmits cyan light, a yellow region that transmits yellow light, and magenta that transmits magenta light, respectively.
  • a region, and a transparent region, and the shape of the cyan region, the shape of the yellow region, and the shape of the magenta region are fan-shaped.
  • the present invention it is possible to obtain a plurality of images having parallax using an imaging device having a color filter without mechanical driving. Furthermore, an image with a high light utilization rate can be obtained by appropriately setting the transmission region and the transmission wavelength region of the color filter. In addition, according to the present invention, it is possible to acquire a plurality of images having parallax with the same mechanism even if the lens aperture amount changes.
  • FIG. 2 is a schematic diagram illustrating a schematic configuration of a light-transmitting plate, an optical system, and an image sensor in the first embodiment.
  • FIG. 3 is a diagram illustrating a basic configuration of a color filter of an image sensor in the first embodiment.
  • FIG. 5 is a diagram illustrating another basic configuration of the color filter of the image sensor according to the first embodiment.
  • FIG. 6 is a diagram illustrating still another basic configuration of the color filter of the image sensor according to the first embodiment.
  • FIG. 5 is a diagram illustrating a basic configuration of a color filter of an image sensor in the second embodiment.
  • regions The figure which shows an example of arrangement
  • FIG. 1 is a block diagram showing the overall configuration of the imaging apparatus according to the first embodiment of the present invention.
  • the imaging apparatus according to the present embodiment is a digital electronic camera, and includes an imaging unit 100 and a signal processing unit 200 that generates a signal (image signal) indicating an image based on a signal from the imaging unit 100. .
  • the imaging unit 100 includes an imaging element (image sensor) 1 including a plurality of photosensitive cells arranged on an imaging surface, and a light-transmitting plate 2 that has three transmission regions having different transmission wavelength ranges and transmits incident light. And an optical lens 3 for forming an image on the imaging surface of the imaging device, an infrared cut filter 4, and a lens diaphragm 19.
  • the image pickup unit 100 also generates a basic signal for driving the image pickup device 1, receives an output signal from the image pickup device 1 and sends it to the signal processing unit 200, and signal generation / reception.
  • an element driving unit 6 that drives the image sensor 1 based on the basic signal generated by the unit 5.
  • the image sensor 1 is typically a CCD or CMOS sensor, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 5 and the element driving unit 30 are composed of an LSI such as a CCD driver, for example.
  • the signal processing unit 200 processes the signal output from the imaging unit 100 to generate an image signal, the memory 30 that stores various data used for generating the image signal, and the generated image And an interface (IF) unit 8 for sending a signal to the outside.
  • the image signal generation unit 7 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • the memory 30 is configured by a DRAM or the like.
  • the memory 30 records the signal obtained from the imaging unit 100 and temporarily records the image data generated by the image signal generation unit 7 and the compressed image data. These image data are sent to a recording medium (not shown) or a display unit via the interface unit 8.
  • the imaging apparatus of the present embodiment may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • FIG. 2 is a diagram schematically showing the arrangement relationship of the light transmitting plate 2, the lens 3, and the imaging element 1 in the imaging unit 100.
  • the translucent plate 2 has three transmission regions C1, C2, and C3 having different transmission wavelength ranges, and transmits incident light.
  • the region C3 is divided into two parts across the regions C1 and C2, and these are assumed to be one region C3.
  • the lens 3 is a known lens, collects the light transmitted through the translucent plate 2, and forms an image on the imaging surface 1 a of the imaging device 1.
  • the center of the translucent plate 2 is located on the optical axis of the lens 3.
  • FIG. 3 is a front view of the translucent plate 2 in the present embodiment.
  • the shape of the translucent plate 2 in the present embodiment is circular as in the case of the lens 3, but may be other shapes.
  • the region C ⁇ b> 1 and the region C ⁇ b> 2 have a sector shape with the center of the light transmitting plate 2 as a vertex.
  • the central angle of the sector shape in the regions C1 and C2 can be set to an arbitrary angle as long as it is smaller than 180 °.
  • the regions C1 and C2 are arranged so as to be line-symmetric with respect to a straight line in the y direction passing through the center of the light transmitting plate 2, but the present invention is not limited to such an arrangement. .
  • a color filter (Cy filter) that transmits light in the cyan (Cy) wavelength region is disposed.
  • a color filter (Ye filter) that transmits light in the yellow (Ye) wavelength region is disposed in the region C2.
  • These color filters may be any known color filter.
  • the region C1 and the region C2 in the present embodiment are configured to transmit light in the Cy wavelength region and light in the Ye wavelength region, respectively, and not to transmit light in other wavelength regions. Not limited to this, it may be composed of any member.
  • the other region C3 in the light transmitting plate 2 is a transparent region formed of a transparent member that transmits visible light in the entire wavelength region included in the white light (W).
  • the transparent member may be any member that transmits light with high transmittance.
  • the areas of the region C1 and the region C2 are equal, and the area of the region C3 is designed to be larger than the areas of the regions C1 and C2.
  • the configuration of the light transmitting plate 2 described above is only the configuration in the present embodiment, and the present invention is not limited to such a configuration. If the light transmission part of the present invention has three or more transmission regions having different transmission wavelength ranges, the characteristics, material, shape, and size of each transmission region are arbitrary.
  • a color filter (Mg filter) that transmits light in the magenta (Mg) wavelength region may be disposed in the region C3 instead of the transparent member.
  • a light shielding region may be included in a part of the translucent plate 2.
  • a photosensitive cell array arranged two-dimensionally and a color filter array arranged to face the photosensitive cell array are formed.
  • the photosensitive cell array and the color filter array have a plurality of unit elements, and each unit element includes four photosensitive cells and four color filters opposed to them.
  • Each photosensitive cell is typically a photodiode, and outputs an electrical signal (photoelectric conversion signal) corresponding to the amount of received light by photoelectric conversion.
  • Each color filter is manufactured using a known pigment or the like, and is designed to selectively transmit light in a specific wavelength range.
  • FIG. 4 is a diagram schematically showing a part of the color filter array in the present embodiment.
  • a large number of color filters 110 are arranged in a matrix on the imaging surface 1a.
  • the four adjacent color filters 110 and the four photosensitive cells 120 facing them constitute one unit element.
  • a color filter (R filter) that transmits light in the red (R) wavelength region is arranged in the first row and the first column.
  • a color filter (G filter) that transmits light in the green (G) wavelength region is arranged in the first row, second column, and second row, first column.
  • a color filter (B filter) that transmits light in the blue wavelength region is arranged in the second row and the second column.
  • the arrangement of the color filters 110 in the present embodiment is a known Bayer arrangement based on 2 rows and 2 columns.
  • the arrangement of the photosensitive cells 120 and the color filters 110 is not necessarily a Bayer arrangement, and may be any known arrangement. Further, the arrangement of the photosensitive cells 120 and the color filters 110 need not be arranged along the x direction and the y direction, and may be inclined with respect to the x direction and the y direction. In this case, information on the parallax in the oblique direction is obtained instead of information on the parallax on the left and right.
  • one unit element has four photosensitive cells and four color filters, and it is sufficient that at least three photosensitive cells and three color filters are included in one unit element. If the number of photosensitive cells and color filters included in each unit element is the same as or larger than the number of transmissive regions in the light transmissive plate 2, image information can be obtained by signal calculation described later.
  • each photosensitive cell receives light that has passed through the opposing color filter out of the light transmitted through the regions C1, C2, and C3 of the translucent plate 2 and outputs a photoelectric conversion signal corresponding to the amount of light received. To do.
  • the photoelectric conversion signal output by each photosensitive cell is sent to the signal processing unit 200 through the signal generation / reception unit 5.
  • the image signal generation unit 7 in the signal processing unit 200 generates a right-eye image, a left-eye image, and a color image based on the signal transmitted from the imaging unit 100.
  • signals corresponding to the intensities of light incident on the regions C1, C2, and C3 of the translucent plate 2 are denoted by Ci1, Ci2, and Ci3 with a suffix “i”, respectively.
  • the spectral transmittance of the transparent region C3, the lens 3, and the infrared cut filter 4 in the light transmitting plate 2 is Tw
  • the spectral transmittance of the Cy filter is Tcy
  • the spectral transmittance of the Ye filter is Tye.
  • the spectral transmittances of the R, G, and B color filters are expressed as Tr, Tg, and Tb, respectively.
  • Tw, Tcy, Tye, Tr, Tg, and Tb are functions that depend on the wavelength ⁇ of incident light.
  • Signals indicating the intensity of light transmitted through the R, G, and B color filters and received by the light-sensitive cell immediately below are denoted by Rs, Gs, and Bs with a suffix “s”, respectively.
  • the integral calculation of the spectral transmittance in the wavelength range of visible light is represented by the symbol ⁇ .
  • the integral operation ⁇ TwTcyTrd ⁇ for the wavelength ⁇ is represented as ⁇ TwTcyTr.
  • Rs is proportional to the result of adding Ci1 ⁇ TwTcyTr, Ci2 ⁇ TwTyeTr, and Ci3 ⁇ TwTr.
  • Gs is proportional to the sum of Ci1 ⁇ TwTcyTg, Ci2 ⁇ TwTyeTg, and Ci3 ⁇ TwTg
  • Bs is proportional to the sum of Ci1 ⁇ TwTcyTb, Ci2 ⁇ TwTyeTb, and Ci3 ⁇ TwTb.
  • the light incident on C1 to C3 includes almost the same amount of any wavelength component in the visible light region. If the proportionality coefficient in these relationships is 1, Rs, Gs, and Bs can be expressed by the following equations 1 to 3.
  • Equations 1 to 3 ⁇ TwTcyTr, ⁇ TwTyeTr, and ⁇ TwTr are represented by Mx11, Mx12, and Mx13, respectively. It will be expressed as Mx33. Then, the relationship between Rs, Gs, and Bs and Ci1, Ci2, and Ci3 can be expressed by the following Expression 4 using a matrix.
  • Equation 4 can be transformed into the following Equation 5. That is, a signal indicating the intensity of light incident on the regions C1, C2, and C3 can be expressed using the photoelectric conversion signals Rs, Gs, and Bs.
  • the image signal generation unit 7 performs signal calculation based on Expression 5 and generates signals Ci1, Ci2, and Ci3 for each unit element.
  • the signals Ci1, Ci2, and Ci3 generated for each unit element in this way represent three images formed by light incident on each of the regions C1, C2, and C3.
  • the images represented by the signals Ci1 and Ci2 correspond to images when the subject is viewed from the regions C1 and C2 that are located apart in the x direction, they can be handled as a left-eye image and a right-eye image. . That is, the two images represented by the signals Ci1 and Ci2 have parallax according to the distance between the regions C1 and C2. Therefore, information indicating the depth of the subject can be obtained from these images.
  • Ci3 can be said to be a signal indicating a normal image, not an image indicating parallax. Since Ci3 may have a portion similar to Ci1 and Ci2, the signal level of the images Ci1 and Ci2 indicating parallax can be increased by adding the signal of Ci3 to the signals of Ci1 and Ci2 at such a portion. In the present embodiment, since the area of the region C3 is larger than the areas of the regions C1 and C2, the signal level of Ci3 is higher than the signal levels of Ci1 and Ci2. Therefore, adding a part of Ci3 to Ci1 and Ci2 is effective in obtaining a good image showing parallax.
  • the area of the region C3 is larger than the areas of the regions C1 and C2.
  • an image signal with a higher signal level can be obtained as the area of the region C3 is larger.
  • Image signals Ci1, Ci2, and Ci3 obtained by the above processing are expressed using photoelectric conversion signals Rs, Gs, and Bs, but these correspond to monochrome images, not color images.
  • the above-described signal calculation processing is not performed, and color processing in a normal Bayer array may be performed from each obtained photoelectric conversion signal.
  • the loss of incident light and the color temperature shift may occur due to the Cy filter and Ye filter disposed on the light-transmitting plate 2.
  • the light transmittance of these color filters is high, the loss of the incident light is reduced. It can be smaller than the case. Further, even if an overall color shift occurs, it can be dealt with by adjusting the white balance.
  • a good color image with a high light utilization rate can be obtained.
  • color information may be obtained by using only the term Ci3 in Equation 4 instead of performing color processing in a normal Bayer array from each photoelectric conversion signal. That is, after obtaining Ci3 based on Equation 5, a color image can also be obtained by setting Mx13 ⁇ Ci3 as the R light amount, Mx23 ⁇ Ci3 as the G light amount, and Mx33 ⁇ Ci3 as the B light amount.
  • the translucent plate 2 including the region C1 in which the Cy filter is disposed, the region C2 in which the Ye filter is disposed, and the region C3 made of a transparent member, and the Bayer array are arranged.
  • the color image pickup device 1 is used.
  • the image signal generation unit 7 By executing a signal operation based on a 3 ⁇ 3 matrix obtained by an integral operation relating to spectral transmittance such as an optical system or a color filter, for each photoelectric conversion signal, the image signal generation unit 7 has two parallaxes. An image and a normal image with a high light utilization rate are generated. Furthermore, if color processing used in a normal Bayer array or color processing using the signal Ci3 is performed, a color image with a high light utilization rate can be obtained.
  • regions C1 and C2 is a fan shape, it does not necessarily need to be a fan shape.
  • the shape of the regions C1 and C2 may be any shape as long as the area ratio of the portion that receives light in each transmission region is kept constant when the aperture diameter of the lens diaphragm 19 is changed.
  • the image signal generation unit 7 in the present embodiment can generate two images having parallax, a black and white image and a color image with high light utilization as described above, but it is essential to generate all of these images. is not.
  • the image signal generation unit 7 only needs to be configured to generate at least two pieces of image data having parallax.
  • the color filter array in the image sensor 1 is a Bayer type color array in which RGB color filters are arranged, but other color filters or other arrays may be used.
  • RGB color filters are used as in the Bayer type colorization, but the R filters and B filters may be arranged in the same column.
  • the same color can be obtained by using a transparent member that transmits visible light in the entire wavelength range included in white light (W) instead of the G filter.
  • W white light
  • the arrangement relationship of each component shown in FIG. 2 is merely an example, and the present invention is not limited to such an arrangement relationship.
  • the lens 3 may be arranged farther from the imaging element 1 than the translucent plate 2 as long as an image can be formed on the imaging surface 1a.
  • positioned among them is also possible.
  • the lens 3 and the translucent plate 2 do not need to be independent components, and both may be configured as one integrated optical element 3a.
  • the translucent plate 2 and the imaging surface of the imaging device 1 do not necessarily have to be arranged in parallel.
  • FIG. 7B by arranging an optical element 52 that reflects light, such as a mirror or a prism, between the two, the translucent plate 2 and the imaging surface of the imaging element 1 intersect on a plane. It can comprise so that it may be located in.
  • the image pickup apparatus of the present embodiment generates an image by signal calculation from a photoelectric conversion signal obtained by image pickup.
  • an image generation process by signal calculation may be executed by another apparatus independent of the image pickup apparatus.
  • the same effect as described above can be obtained by causing another device to read a signal acquired by the imaging device having the imaging unit 100 according to the present embodiment and causing the other device to execute a program that defines the signal calculation processing. Can be obtained.
  • Embodiment 2 Next, a second embodiment of the present invention will be described with reference to FIGS.
  • the imaging apparatus according to the present embodiment is different from the imaging apparatus according to the first embodiment in the configuration of the transmissive region in the translucent plate 2 and the configuration of the color filter array of the imaging element 1.
  • a different point from Embodiment 1 is demonstrated and description is abbreviate
  • FIG. 8 is a front view of the translucent plate 2 in the present embodiment.
  • the shape of the translucent plate 2 is circular like the optical lens 3, but may be other shapes.
  • the regions C1, C2, and C3 have a fan-like shape with the center of the translucent plate 2 as a vertex.
  • the aperture diameter of the lens diaphragm 19 is changed by using such a light transmitting plate 2, the area of the portion that receives incident light in the regions C1, C2, C3, and C4 changes, but the area ratio thereof is constant. To be kept. As a result, even if the aperture diameter of the lens diaphragm 19 changes, an image can be generated without changing signal calculation processing described later.
  • the central angle of the sector shape in the regions C1, C2, and C3 can be set to an arbitrary angle as long as it is smaller than 120 °.
  • a Cy filter that transmits cyan light in the region C1, an Mg filter that transmits magenta light in the region C2, a Ye filter that transmits yellow light in the region C3, and the other region C4 are transparent regions formed of a transparent member. (W).
  • FIG. 9 is a diagram showing a basic configuration of a color filter array formed on the imaging surface 1a of the imaging device 1 in the present embodiment.
  • the color filter array includes Mg filters, G filters, Cy filters, and Ye filters based on 2 rows and 2 columns.
  • FIG. 9 shows an example in which an Mg filter is arranged in the first row and first column, a G filter in the first row and second column, a Cy filter in the second row and first column, and a Ye filter in the second row and second column.
  • the arrangement of these color filters is arbitrary.
  • each photosensitive cell receives light that has passed through the opposing color filter out of the light that has passed through each of the regions C1 to C4 of the translucent plate 2.
  • a photoelectric conversion signal in each photosensitive cell will be described.
  • the light incident on the regions C1 to C4 includes almost the same amount of any wavelength component in the visible light region.
  • the notation of the symbols is the same as that of the first embodiment.
  • the spectral transmittances Tmg, Tcy, and Tye of the Mg, Cy, and Ye filters of the light transmitting plate 2 are the same as the spectral transmittances of the Mg, Cy, and Ye filters in the color filter array, respectively.
  • the signals that pass through the Mg, Cy, and Ye color filters in the color filter array and are photoelectrically converted by the photosensitive cell immediately below are represented by Ms, Cs, and Ys, respectively.
  • Ms is proportional to the result of adding Ci1 ⁇ TwTcyTmg, Ci2 ⁇ TwTmgTmg, Ci3 ⁇ TwTyeTmg, and Ci4 ⁇ TwTmg.
  • Gs is proportional Ci1 ⁇ TwTcyTg, Ci2 ⁇ TwTmgTg, Ci3 ⁇ TwTyeTg, the result of the sum of Ci4shigumaTwTg, Cs is, Ci1 ⁇ TwTcyTcy, Ci2 ⁇ TwTmgTcy, Ci3 ⁇ TwTyeTcy, proportional to the result of summing the Ci4shigumaTwTcy, Ys is, Ci1 ⁇ TwTcyTye, Ci2 ⁇ TwTmgTye, Ci3 ⁇ TwTyeTye, the Ci4 ⁇ TwTye Proportional to the total result.
  • Ms, Gs, Cs and Ys can be expressed by the following equations 6 to 9, respectively.
  • Ms Ci1 ⁇ TwTcyTmg + Ci2 ⁇ TwTmgTmg + Ci3 ⁇ TwTyeTmg + Ci4 ⁇ TwTmg
  • Gs Ci1 ⁇ TwTcyTg + Ci2 ⁇ TwTmgTg + Ci3 ⁇ TwTyeTg + Ci4 ⁇ TwTg
  • Cs Ci1 ⁇ TwTcyTcy + Ci2 ⁇ TwTmgTcy + Ci3 ⁇ TwTyeTcy + Ci4 ⁇ TwTcy
  • Ys Ci1 ⁇ TwTcyTye + Ci2 ⁇ TwTmgTye + Ci3 ⁇ TwTyeTye + Ci4 ⁇ TwTye
  • Equation 6 to 9 ⁇ TwTcyTmg, ⁇ TwTmgTmg, ⁇ TwTyeTmg, and ⁇ TwTmg are represented by Mx11, Mx12, Mx13, and Mx14, respectively.
  • ⁇ TwTcy is represented by Mx31, Mx32, Mx33, and Mx34, respectively
  • ⁇ TwTcyTye, ⁇ TwTmgTye, ⁇ TwTyeTye, and ⁇ TwTye are represented by Mx41, Mx42, Mx43, and Mx44, respectively.
  • Equation 10 the relationship between Ms, Gs, Cs, and Ys and Ci1, Ci2, Ci3, and Ci4 is expressed by Equation 10 below using a matrix.
  • Expression 10 can be transformed into the following Expression 11. That is, a signal indicating the intensity of light incident on the regions C1, C2, C3, and C4 can be expressed using the photoelectric conversion signals Ms, Gs, Cs, and Ys.
  • Ci1 and Ci3 correspond to images when the subject is viewed from the regions C1 and C3 arranged apart in the x direction, they can be handled as left-eye images and right-eye images.
  • Ci2 corresponds to an image when viewed from a region C2 disposed in an oblique direction with respect to the regions C1 and C3, and thus is an image showing parallax in an oblique direction with respect to Ci1 and Ci3.
  • the image indicated by Ci4 is an image (monochrome image) by light incident on the transparent region C4, and is a normal image that does not exhibit parallax. Therefore, as the area of the region C4 is increased as compared with the regions C1, C2, and C3, a signal Ci4 indicating an image (monochrome image) with a high signal level can be obtained.
  • the luminance signal Yl and the equation difference signals RY and BY shown in the following equations 12 to 14 may be obtained without performing the above processing.
  • Yl Ms + Gs + Cs + Ys
  • RY Ms ⁇ Gs ⁇ Cs + Ys
  • BY Ms ⁇ Gs + Cs ⁇ Ys
  • a color image can be obtained by converting the luminance signal Yl and the color difference signals RY and BY obtained from Equations 12 to 14 into RGB signals by a method used in the NTSC system or the like.
  • the obtained color image is an image having a high light utilization rate because the light transmittance of the Cy filter, Mg filter, and Ye filter disposed on the light transmitting plate 2 is relatively high.
  • the color information may be obtained using only the term relating to the signal Ci4 indicating the image by the light incident on the transparent region C4.
  • the Cy filter, the Mg filter, and the Ye filter are arranged at positions apart from each other, and the other region is formed of a transparent member, and 2 rows and 2 columns.
  • a color imaging device having a color filter array composed of color filters of magenta (Mg), green (G), cyan (Cy), and yellow (Ye) having the basic configuration is used.
  • a plurality of images and light having parallax are obtained by performing an operation based on a 4 ⁇ 4 matrix obtained by an integral operation related to spectral transmittance such as an optical system and a color filter on the photoelectric conversion signal output from the image sensor.
  • a normal image having a high utilization rate can be obtained.
  • region C1, C2, C3 is a fan shape, it does not necessarily need to be a fan shape.
  • the shape of the regions C1, C2, and C3 may be any shape as long as the area ratio of the portion that receives light in each transmission region is kept constant when the aperture diameter of the lens diaphragm 19 is changed.
  • the translucent plate 2 includes a region C1 in which a Cy filter is disposed, a region C2 in which an Mg filter is disposed, a region C3 in which a Ye filter is disposed, and a transparent region C4.
  • the configuration of the four regions including the region is not limited to the above configuration. There is no problem in any configuration as long as the transmission wavelength range of each region is different and the transmittance is relatively high.
  • the combination of color filters in the image sensor is not limited to the combination of Mg, G, Cy, and Ye. As long as the transmission wavelength ranges of the color filters are different, the color combinations of the color filters are arbitrary.
  • the light transmissive plate includes three and four transmission regions, respectively, and the number of types of color filters included in each unit element in the image sensor is the same as the number of transmission regions, respectively. There are 3 types and 4 types. However, the number of transmissive regions and the number of types of color filters in the present invention are not limited to the above numbers. For example, the number of types of color filters included in each unit element may exceed the number of transmissive regions. Even in that case, image information can be obtained by signal calculation based on a relational expression between the photoelectric conversion signal of each photosensitive cell and the amount of light incident on the transmission region.
  • the number of transmissive regions and the number of types of color filters included in each unit element may be more than four.
  • the three-dimensional imaging device of the present invention includes a light transmission unit having n transmission regions (n is an integer of 3 or more) having different transmission wavelength regions, and n colors having different transmission wavelength regions in each unit element. What is necessary is just to have a filter. However, light transmitted through at least one of the n transmission regions is transmitted through at least two color filters in one unit element.
  • FIG. 10 is a diagram showing an example of the light transmitting portion 2a when generalized in this way.
  • the light transmission portion 2a has a circular shape, but may have another shape.
  • the light transmission part 2a has n transmission regions C1 to Cn.
  • the transmission regions C1 to Cn-1 have a fan shape with the center of the light transmission part 2a as the apex, and their transmission wavelength regions are different from each other.
  • the transmissive region Cn is a transparent region that transmits all visible light.
  • the transmission wavelength region of the transmission regions C1 to Cn-1 is preferably a complementary color wavelength region.
  • the vertices of the transmission regions C1 to Cn-1 are located at the center of the light transmission portion 2a. Even if these vertices are slightly apart from the center of the light transmission portion 2a, the effect of the present invention is achieved. It is possible to get.
  • the shape of the transmissive regions C1 to Cn-1 is not necessarily a fan shape. In the present invention, at least two of the n transmission regions are designed such that the size of the light transmission part 2a in the direction perpendicular to the radial direction is substantially increased according to the distance from the center of the light transmission part 2a.
  • each transmissive region is arbitrary.
  • “substantially increases” means that if the size of the light transmitting portion 2a in the direction perpendicular to the radial direction increases as a whole in accordance with the distance from the center of the light transmitting portion 2a, it is localized. This means that a portion that becomes smaller may be included.
  • the light transmission part 2a is configured so that, for example, only two transmission regions have a fan shape with the center of the light transmission part 2a as a vertex, and the remaining transmission regions have various different shapes. It may be.
  • the region Cn is a transparent region, but the region Cn may be configured to transmit only light in a specific wavelength region as in the other regions.
  • a part of the light transmission part 2a may be a light shielding region.
  • FIG. 11 is a diagram illustrating an example of an array of color filters in each unit element of the image sensor provided in the generalized three-dimensional imaging apparatus as described above. As shown in the figure, each unit element has color filters D1 to Dn. The transmission wavelength ranges of the color filters D1 to Dn are different from each other. The arrangement of the color filters is not limited to the arrangement shown in the figure, and any arrangement may be used.
  • the transmission region having the widest transmission wavelength region among the transmission regions C1 to Cn is more than the color filter having the widest transmission wavelength region among the color filters D1 to Dn from the viewpoint of improving the light utilization rate.
  • Each transmission region and each color filter are preferably designed to have a wide transmission wavelength region.
  • the image signals Ci1, Ci2, Ci3,..., Cin by the light incident on each transmission region of the light transmission unit 2a and the light-sensitive cells corresponding to the respective color filters of the image sensor are output.
  • the relationship between the photoelectric conversion signals Ds1, Ds2, Ds3,..., Dsn can be expressed by the following Expression 15.
  • the optical characteristics of the imaging system are configured so that the determinant of the n ⁇ n matrix having Mx11 to Mxnn as elements does not become a value close to zero. If the elements of the inverse matrix of the n ⁇ n matrix in Expression 15 are iM11 to iMnn, Expression 15 can be transformed into Expression 16 below.
  • signals Ci1 to Cin indicating the intensity of light incident on the transmission regions C1 to Cn can be generated from the photoelectric conversion signals Ds1 to Dsn. Thereby, n pieces of image data having parallax can be generated.
  • the signal level of the other signal can be increased by adding any one of the signals Ci1 to Cin to the other signal.
  • RGB color signals can be obtained by using signals corresponding to light incident on a transmission region having the widest transmission wavelength region or a transmission region having the largest transmission region. preferable.
  • the imaging apparatus may be configured to generate at least two of these signals without generating all of the signals Ci1 to Cin. Even with such a configuration, at least two pieces of image data having parallax can be obtained.
  • the three-dimensional imaging device of the present invention is effective for all cameras using a solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and industrial solid-state surveillance cameras.
  • Solid-state image sensor 1a Imaging surface of a solid-state image sensor 2 Translucent plate 2a Light transmissive part 3 Optical lens 3a Optical element with which the function of the translucent plate and the optical lens was integrated 4 Infrared cut filter 5 Signal generation / reception part 6 Element driving unit 7 Image signal generating unit 8 Interface unit 9 Imaging device 10 Pixel 11 0-degree polarization polarizing plate 12 90-degree polarization polarizing plate 13 Reflecting mirror 14 Half mirror 15 Circular polarizing filter 16 Driving device 17 for rotating the polarizing filter 17 , 18 Polarizing filter 19 Lens stop 20, 22, 23 Light flux limiting plate 20a Color filter that transmits red light 20b Color filter that transmits blue light 21 Photosensitive film 22R, 23R R light transmission region 22G of light limiting plate , 23G G light transmission region of light flux limiting plate 22B, 23B B light transmission region of light flux limiting plate 30 Memory 52 Optical element that reflects light 100 Imaging unit 110 Color filter 120 Photosensitive cell 200 Signal processing unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

　３次元撮像装置は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の扇形の透過領域を有する光透過部２と、光透過部２を透過した光を受ける固体撮像素子１と、固体撮像素子１の撮像面に像を形成する光学系２と、固体撮像素子１から出力される信号を処理する信号処理部２００とを備える。固体撮像素子１の撮像面には、Ｎ個の光感知セルとＮ個の色フィルタとを単位構成要素とする光感知セルアレイ、および色フィルタアレイが形成されている。各透過領域および各色フィルタの透過波長域は、Ｎ個の透過領域の少なくとも１つを透過する光が、Ｎ個の色フィルタの少なくとも２つを透過できるように設定されている。信号処理部は、各光感知セルから出力される信号に基づいて、各透過領域に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する。

Description

３次元撮像装置および光透過板
　本発明は視差を有する複数の画像を生成する単眼の３次元撮像技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
　３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像を取得する方式が研究されている。例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いる方式が開示されている。
　図１２は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタを回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を透過して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
　しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら時間分割によって異なる位置の画像を取得するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。さらに、入射光が偏光板および偏光フィルタを透過するため、撮像装置９が受ける光の量（受光量）が５０％以上も減少するという問題点もある。
　上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に撮像する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を有さずに視差のある２つの画像を取得する。
　図１３は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子１とを有する。撮像素子１は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
　以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらの直下の画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
　このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、解像度は特許文献１の方式に比べて１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。
　しかしながら、この技術においても特許文献１の技術と同様、入射光が偏光板および偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
　この受光量が減少するという問題に対して、視差を有する２つの画像と通常の画像とを１つの撮像素子で取得できる技術が特許文献３に開示されている。この技術によれば、視差のある２つの画像の取得時と通常画像の取得時とで構成要素の一部が機械的に入れ替わることによって視差を有する２つの画像と通常画像とが１つの撮像素子で取得される。視差を有する２つの画像を取得する際に光路上に２つの偏光フィルタが配置される点は特許文献２に開示された技術と同じである。一方、通常画像を取得する際にはこれらの偏光フィルタは機械的に光路から取り外される。このような機構を取り入れることにより、視差のある画像と光利用率の高い通常画像とを得ることができる。
　上記の特許文献１～３に開示された技術では、偏光板や偏光フィルタが用いられるが、他のアプローチとして、色フィルタが用いられる技術もある。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する技術が特許文献４に開示されている。図１４は、この技術を用いた撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
　以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれら２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献４に開示された技術によれば、２つの色フィルタを使って視差を有する画像を作ることができる。
　特許文献４に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献５に開示されている。図１５は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
　また、特許文献６にも、図１５の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１６は、特許文献６に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。
　上記の特許文献４～６に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。
　以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献７に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。
特開昭６２－２９１２９２号公報 特開昭６２－２１７７９０号公報 特開２００１－０１６６１１号公報 特開平２－１７１７３７号公報 特開２００２－３４４９９９号公報 特開２００９－２７６２９４号公報 特開２００３－１３４５３３号公報
　従来技術によれば、視差を有する複数の画像を取得することができるが、偏光板または色フィルタを用いるため、撮像素子の受光量は減少する。入射光量を十分に確保するためには、偏光板または色フィルタを機械的駆動によって光路から外す機構を用いて光利用率の高い通常画像を取得する必要がある。そのような機械的駆動を用いる場合、装置の大型化および高コスト化を招くという問題がある。
　本発明は、機械的駆動を行うことなく、色フィルタを用いて視差を有する複数の画像を生成するとともに、光利用率の高い画像を生成し得る３次元撮像技術を提供する。さらに、本発明は、レンズ絞り量が変化しても同一の機構により視差を有する複数画像を取得できる撮像技術および光学構成を提供することを目的とする。
　本発明の３次元撮像装置は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子と、絞りを有し前記固体撮像素子の撮像面に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部とを備えている。前記固体撮像素子は、光感知セルアレイ、および前記光感知セルアレイに対向して配置された色フィルタアレイを有している。前記光感知セルアレイおよび前記色フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに１対１に対応して配置された、透過波長域が互いに異なるＮ個の色フィルタを含んでいる。前記光透過部の中心は、前記光学系の光軸上に位置し、前記Ｎ個の透過領域の少なくとも２個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している。
　ある実施形態において、前記Ｎ個の透過領域の少なくともＮ－１個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している。
　ある実施形態において、前記Ｎ個の透過領域の少なくともＮ－１個は、前記光透過部の中心を頂点とする扇形の形状を有している。
　ある実施形態において、Ｎ＝３であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、前記シアン領域の形状および前記黄領域の形状は扇形である。
　ある実施形態において、Ｎ＝４であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である。
　ある実施形態において、前記Ｎ個の透過領域および前記Ｎ個の色フィルタの透過波長域は、前記Ｎ個の透過領域の少なくとも１つを透過する光が前記Ｎ個の色フィルタの少なくとも２つを透過できるように設定され、前記信号処理部は、前記Ｎ個の光感知セルから出力される信号に基づいて、前記Ｎ個の透過領域の各々に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する。
　本発明の光透過板は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過板であって、前記Ｎ個の透過領域の少なくとも２個は、半径方向に垂直な方向のサイズが中心からの距離に応じて大きくなる部分を有している。
　本発明の光透過板のある実施形態において、前記Ｎ個の透過領域の少なくとも２個は、中心を頂点とする扇形の形状を有している。
　本発明の光透過板のある実施形態において、前記Ｎ個の透過領域の少なくともＮ－１個は、中心を頂点とする扇形の形状を有している。
　本発明の光透過板のある実施形態において、Ｎ＝３であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、前記シアン領域の形状および前記黄領域の形状は扇形である。
　本発明の光透過板のある実施形態において、Ｎ＝４であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である。
　本発明によれば、機械的駆動を行うことなく、色フィルタを有する撮像素子を用いて、視差を有する複数の画像を得ることができる。さらに、透過領域および色フィルタの透過波長域を適切に設定することにより、光利用率の高い画像を得ることができる。また、本発明によれば、レンズ絞り量が変化しても同一の機構で視差を有する複数の画像を取得することができる。
実施形態１における全体構成を示すブロック図 実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図 実施形態１における透光板の透過領域の配置を示す図 実施形態１における撮像素子の色フィルタの基本構成を示す図 実施形態１における撮像素子の色フィルタの他の基本構成を示す図 実施形態１における撮像素子の色フィルタのさらに他の基本構成を示す図 実施形態１における透光板、光学系、および撮像素子の第２の例を示す図 実施形態１における透光板、光学系、および撮像素子の第３の例を示す図 実施形態２における透光板の透過領域の配置を示す図 実施形態２における撮像素子の色フィルタの基本構成を示す図 ｎ個の透過領域を有する光透過部の一例を示す図 各単位要素におけるｎ個の色フィルタの配置の一例を示す図 特許文献１における撮像系の構成図 特許文献２における撮像系の構成図 特許文献４における撮像系の構成図 特許文献５における光束制限板の外観図 特許文献６における光束制限板の外観図
　以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
　（実施形態１）
　図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
　撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板２と、撮像素子の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４と、レンズ絞り１９とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
　信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
　次に、図２～４を参照しながら撮像部１００の構成をより詳細に説明する。
　図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光を透過させる。本実施形態では、領域Ｃ３は領域Ｃ１およびＣ２を隔てて２つの部分に分かれているが、これらを１つの領域Ｃ３であるとする。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、以下の説明において、撮像面１ａに平行な平面において、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、ｘ方向に垂直な方向をｙ方向とする。ここで、透光板２の中心は、レンズ３の光軸上に位置している。
　図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。ここで、領域Ｃ１および領域Ｃ２は、透光板２の中心を頂点とする扇形の形状を有している。このような透光板２を用いることにより、レンズ絞り１９の開口径が変化した場合、領域Ｃ１、Ｃ２、Ｃ３において入射光を受ける部分の面積は変化するが、それらの面積比率は一定に保たれる。その結果、レンズ絞り１９の開口径が変化しても、後述する信号演算処理を変えることなく画像を生成することができる。なお、領域Ｃ１、Ｃ２における扇形形状の中心角は、１８０°よりも小さい限りにおいて任意の角度に設定され得る。本実施形態では、領域Ｃ１、Ｃ２は、透光板２の中心を通るｙ方向の直線に対して線対称に位置するように配置されているが、本発明はこのような配置に限られない。
　領域Ｃ１には、シアン（Ｃｙ）の波長域の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。これらの色フィルタは、公知のどのような色フィルタであってもよい。なお、本実施形態における領域Ｃ１および領域Ｃ２は、それぞれＣｙの波長域の光およびＹｅの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。また、透光板２における他の領域Ｃ３は、白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材で形成された透明領域である。透明部材は、光を高い透過率で透過させる部材であればどのようなものでもよい。本実施形態では、領域Ｃ１および領域Ｃ２の面積は等しく、領域Ｃ３の面積は領域Ｃ１、Ｃ２の面積よりも大きく設計されている。
　なお、上記の透光板２の構成は、あくまでも本実施形態における構成であり、本発明はこのような構成に限られない。本発明の光透過部は、透過波長域が互いに異なる３つ以上の透過領域を有していれば、各透過領域の特性、材質、形状、サイズは任意である。例えば、領域Ｃ３に、透明部材の代わりにマゼンタ（Ｍｇ）の波長域の光を透過させる色フィルタ（Ｍｇフィルタ）を配置してもよい。また、透光板２の一部に遮光領域が含まれていてもよい。
　図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、複数の単位要素を有し、各単位要素は、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（光電変換信号）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。
　図４は、本実施形態における色フィルタアレイの一部を模式的に示す図である。図示されるように、撮像面１ａ上には多数の色フィルタ１１０が行列状に配列されている。近接する４つの色フィルタ１１０およびそれらに対向する４つの光感知セル１２０が１つの単位要素を構成している。各単位要素において、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。
　なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。また、光感知セル１２０および色フィルタ１１０の配列は、ｘ方向およびｙ方向に沿った配列である必要はなく、ｘ方向およびｙ方向に対して傾いていてもよい。その場合、左右の視差に関する情報ではなく、斜め方向の視差に関する情報が得られる。
　また、１つの単位要素には４つの光感知セルおよび４つの色フィルタを有することは必須ではなく、少なくとも３つの光感知セルおよび３つの色フィルタを有していればよい。各単位要素に含まれる光感知セルおよび色フィルタの数は、上記の透光板２における透過領域の数と同じか、それよりも多ければ後述する信号演算によって画像情報を得ることができる。
　以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて右目用画像、左目用画像、およびカラー画像を生成する。
　以下、各光感知セルから出力される光電変換信号を説明する。まず、透光板２の領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３で表すこととする。また、透光板２における透明領域Ｃ３、レンズ３、および赤外カットフィルタ４を合わせた分光透過率をＴｗ、Ｃｙフィルタの分光透過率をＴｃｙ、Ｙｅフィルタの分光透過率をＴｙｅとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。Ｒ、Ｇ、Ｂの色フィルタを透過して直下の光感知セルで受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｒを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｇを合算した結果に比例し、Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｂを合算した結果に比例する。なお、ここではＣ１～Ｃ３に入射する光は、可視光領域のどの波長成分もほぼ等量含んでいるものと仮定している。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１～３で表すことができる。
　（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｒ
　（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｇ
　（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｂ
　式１～３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、式４における要素Ｍｘ１１～Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１～ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度を示す信号を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表すことができる。
Figure JPOXMLDOC01-appb-M000002
　画像信号生成部７は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位要素ごとに生成する。このようにして単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、領域Ｃ１、Ｃ２、Ｃ３のそれぞれに入射する光によって形成される３つの画像を表す。特に、信号Ｃｉ１、Ｃｉ２によって表される画像は、ｘ方向に離れて位置する領域Ｃ１、Ｃ２からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。すなわち、信号Ｃｉ１、Ｃｉ２によって表される２つの画像は、領域Ｃ１、Ｃ２の距離に応じた視差を有する。したがって、これらの画像から被写体の奥行きを示す情報を得ることができる。
　一方、Ｃｉ３は、視差を示す画像ではなく通常の画像を示す信号であると言える。Ｃｉ３は、Ｃｉ１およびＣｉ２と類似する箇所があり得るため、そのような箇所においてＣｉ３の信号をＣｉ１、Ｃｉ２の信号に加えることにより、視差を示す画像Ｃｉ１、Ｃｉ２の信号レベルを高めることができる。本実施形態では、領域Ｃ３の面積が領域Ｃ１、Ｃ２の面積よりも大きいことから、Ｃｉ３の信号レベルはＣｉ１、Ｃｉ２の信号レベルよりも高い。したがって、Ｃｉ３の一部をＣｉ１およびＣｉ２に加算することは、視差を示す良好な画像を得る上で効果的である。本実施形態において、領域Ｃ１、Ｃ２の面積に対する領域Ｃ３の面積は大きいほど好ましい。なお、視差のない通常の画像を取得する際も、領域Ｃ３の面積が大きいほど、信号レベルの高い画像信号を得ることができる。
　以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、白黒画像に相当する。白黒画像ではなくカラー画像を得るには、上記の信号演算処理は行わず、得られた各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行えばよい。その際、透光板２に配置されたＣｙフィルタ、Ｙｅフィルタによって入射光の損失や色温度ずれが発生し得るが、これらの色フィルタの光透過率が高いため、入射光の損失を従来技術の場合よりも小さくできる。また、全体的な色のずれが発生しても白バランスの調整により対処できる。このように、本実施形態の撮像装置によれば、光利用率の高い良好なカラー画像を得ることができる。
　なお、カラー画像を得る際に、各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行うのではなく、式４におけるＣｉ３の項だけを利用してカラー情報を得てもよい。すなわち、式５に基づいてＣｉ３を求めた後、Ｍｘ１３×Ｃｉ３をＲの光量、Ｍｘ２３×Ｃｉ３をＧの光量、Ｍｘ３３×Ｃｉ３をＢの光量とすることによってもカラー画像を得ることができる。
　以上のように、本実施形態によれば、Ｃｙフィルタが配置された領域Ｃ１、Ｙｅフィルタが配置された領域Ｃ２、および透明部材からなる領域Ｃ３から構成される透光板２と、Ｂａｙｅｒ配列を有するカラー撮像素子１とが用いられる。光学系や色フィルタなどの分光透過率に関する積分演算によって得られる３×３の行列に基づく信号演算を各光電変換信号に対して実行することにより、画像信号生成部７は、視差を有する２つの画像、および光利用率の高い通常画像を生成する。さらに、通常のＢａｙｅｒ配列で用いられるカラー処理、または信号Ｃｉ３を用いたカラー処理を行えば、光利用率の高いカラー画像を得ることができる。また、レンズ絞り１９の開口径が変化しても領域Ｃ１、Ｃ２、Ｃ３の光を透過する部分の面積比率は変わらないため、上記の演算式（式４、５）を変えることなくレンズ絞り１９の開口径の変化に対応することができるという利点も有する。
　なお、本実施形態における透光板２において、領域Ｃ１、Ｃ２の形状は扇形であるが、必ずしも扇形である必要はない。レンズ絞り１９の開口径が変化したときに各透過領域において光を受ける部分の面積比率が一定に保たれれば、領域Ｃ１、Ｃ２の形状はどのような形状であってもよい。
　本実施形態における画像信号生成部７は、上記のように視差を有する２つの画像、光利用率の高い白黒画像およびカラー画像を生成することができるが、これらの画像を全て生成することは必須ではない。画像信号生成部７は、少なくとも視差を有する２つの画像データを生成するように構成されていればよい。
　なお、本実施形態では、撮像素子１における色フィルタの配列は、ＲＧＢの色フィルタが配置されたＢａｙｅｒ型の色配列であるが、他の色フィルタや、他の配列を用いてもよい。例えば、図５に示すように、Ｂａｙｅｒ型のカラー化と同じくＲＧＢの色フィルタを用いるが、ＲフィルタとＢフィルタとが同じ列に配置されていてもよい。このような配列を用いた場合、Ｒフィルタに対向する光感知セルとＢフィルタに対向する光感知セルとの間でｘ方向の画素単位のずれが無いため、ｘ方向の視差の精度を高めることができる。また、図６に示すように、Ｇフィルタの代わりに白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材を用いても同様のカラー化が可能である。図６に示す構成を採用した場合、Ｇフィルタよりも透明要素の方が多くの光を透過することから、撮像素子における光利用率がさらに向上するという利点がある。
　撮像部１００の構成に関して、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、図７Ａに示すように、複数のレンズ３が配置され、それらの間に透光板２が配置される構成も可能である。また、レンズ３と透光板２とは独立した構成要素である必要はなく、両者は一体化された１つの光学素子３ａとして構成されていてもよい。さらに、透光板２と撮像素子１の撮像面とは必ずしも平行に配置されている必要はない。例えば、図７Ｂに示すように、両者の間にミラーやプリズムなどの、光を反射する光学素子５２を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することができる。
　本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても上記と同様の効果を得ることができる。
　（実施形態２）
　次に図８、９を参照しながら本発明の第２の実施形態を説明する。本実施形態の撮像装置は、透光板２における透過領域の構成および撮像素子１の色フィルタアレイの構成が実施形態１の撮像装置と異なっている。以下、実施形態１と異なる点を説明し、重複する点については説明を省略する。
　図８は本実施形態における透光板２の正面図である。透光板２の形状は、光学レンズ３と同様、円形であるが、他の形状であってもよい。ここで、領域Ｃ１、Ｃ２、Ｃ３は、透光板２の中心を頂点とする扇形の形状を有している。このような透光板２を用いることにより、レンズ絞り１９の開口径が変化した場合、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４において入射光を受ける部分の面積は変化するが、それらの面積比率は一定に保たれる。その結果、レンズ絞り１９の開口径が変化しても、後述する信号演算処理を変えることなく画像を生成することができる。なお、領域Ｃ１、Ｃ２、Ｃ３における扇形形状の中心角は、１２０°よりも小さい限りにおいて任意の角度に設定され得る。領域Ｃ１にシアン光を透過するＣｙフィルタ、領域Ｃ２にマゼンタ光を透過するＭｇフィルタ、領域Ｃ３に黄光を透過するＹｅフィルタが配置され、それ以外の領域Ｃ４は透明部材で形成された透明領域（Ｗ）である。
　図９は本実施形態における撮像素子１の撮像面１ａに形成された色フィルタアレイの基本構成を示す図である。色フィルタアレイは、２行２列を基本とするＭｇフィルタ、Ｇフィルタ、Ｃｙフィルタ、Ｙｅフィルタから構成される。図９では、１行１列目にＭｇフィルタ、１行２列目にＧフィルタ、２行１列目にＣｙフィルタ、２行２列目にＹｅフィルタが配置された例を示しているが、これらの色フィルタの配列は任意である。
　以上の構成により、各光感知セルは、透光板２の領域Ｃ１～Ｃ４の各々を透過した光のうち、対向する色フィルタを透過した光を受ける。以下、各光感知セルにおける光電変換信号を説明する。
　本実施形態においても領域Ｃ１～Ｃ４に入射する光は、可視光領域のどの波長成分もほぼ等量含んでいるものと仮定する。また、記号の表記については実施形態１の表記と同様とする。ただし、透光板２のＭｇ、Ｃｙ、Ｙｅフィルタの分光透過率Ｔｍｇ、Ｔｃｙ、Ｔｙｅは、それぞれ色フィルタアレイにおけるＭｇ、Ｃｙ、Ｙｅフィルタの分光透過率と同一であるとする。さらに、色フィルタアレイにおけるＭｇ、Ｃｙ、Ｙｅの色フィルタを透過し直下の光感知セルで光電変換される信号をそれぞれＭｓ、Ｃｓ、Ｙｓで表すこととする。すると、Ｍｓは、Ｃｉ１ΣＴｗＴｃｙＴｍｇ、Ｃｉ２ΣＴｗＴｍｇＴｍｇ、Ｃｉ３ΣＴｗＴｙｅＴｍｇ、Ｃｉ４ΣＴｗＴｍｇを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｍｇＴｇ、Ｃｉ３ΣＴｗＴｙｅＴｇ、Ｃｉ４ΣＴｗＴｇを合算した結果に比例し、Ｃｓは、Ｃｉ１ΣＴｗＴｃｙＴｃｙ、Ｃｉ２ΣＴｗＴｍｇＴｃｙ、Ｃｉ３ΣＴｗＴｙｅＴｃｙ、Ｃｉ４ΣＴｗＴｃｙを合算した結果に比例し、Ｙｓは、Ｃｉ１ΣＴｗＴｃｙＴｙｅ、Ｃｉ２ΣＴｗＴｍｇＴｙｅ、Ｃｉ３ΣＴｗＴｙｅＴｙｅ、Ｃｉ４ΣＴｗＴｙｅの合算結果に比例する。これらの比例係数を１とすれば、Ｍｓ、Ｇｓ、Ｃｓ、Ｙｓは、それぞれ以下の式６～９で表すことができる。
　（式６）Ｍｓ＝Ｃｉ１ΣＴｗＴｃｙＴｍｇ＋Ｃｉ２ΣＴｗＴｍｇＴｍｇ＋Ｃｉ３ΣＴｗＴｙｅＴｍｇ＋Ｃｉ４ΣＴｗＴｍｇ
　（式７）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｍｇＴｇ＋Ｃｉ３ΣＴｗＴｙｅＴｇ＋Ｃｉ４ΣＴｗＴｇ
　（式８）Ｃｓ＝Ｃｉ１ΣＴｗＴｃｙＴｃｙ＋Ｃｉ２ΣＴｗＴｍｇＴｃｙ＋Ｃｉ３ΣＴｗＴｙｅＴｃｙ＋Ｃｉ４ΣＴｗＴｃｙ
　（式９）Ｙｓ＝Ｃｉ１ΣＴｗＴｃｙＴｙｅ＋Ｃｉ２ΣＴｗＴｍｇＴｙｅ＋Ｃｉ３ΣＴｗＴｙｅＴｙｅ＋Ｃｉ４ΣＴｗＴｙｅ
　式６～９において、ΣＴｗＴｃｙＴｍｇ、ΣＴｗＴｍｇＴｍｇ、ΣＴｗＴｙｅＴｍｇ、ΣＴｗＴｍｇをそれぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３、Ｍｘ１４で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｍｇＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇをそれぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３、Ｍｘ２４で表し、ΣＴｗＴｃｙＴｃｙ、ΣＴｗＴｍｇＴｃｙ、ΣＴｗＴｙｅＴｃｙ、ΣＴｗＴｃｙをそれぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３、Ｍｘ３４で表し、ΣＴｗＴｃｙＴｙｅ、ΣＴｗＴｍｇＴｙｅ、ΣＴｗＴｙｅＴｙｅ、ΣＴｗＴｙｅをそれぞれＭｘ４１、Ｍｘ４２、Ｍｘ４３、Ｍｘ４４で表すこととする。すると、Ｍｓ、Ｇｓ、Ｃｓ、ＹｓとＣｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４との関係は、行列を用いて以下の式１０で表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、式１０における要素Ｍｘ１１～Ｍｘ４４からなる行列の逆行列の要素をｉＭ１１～ｉＭ４４とすると、式１０は以下の式１１に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４に入射する光の強度を示す信号を、光電変換信号Ｍｓ、Ｇｓ、Ｃｓ、Ｙｓを用いて表すことができる。
Figure JPOXMLDOC01-appb-M000004
　式１１で表される信号Ｃｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４を、単位要素ごとに求めることにより、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４のそれぞれに入射する光によって形成される４つの画像を求めることができる。
　Ｃｉ１、Ｃｉ３が示す画像は、ｘ方向に離れて配置された領域Ｃ１、Ｃ３からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。また、Ｃｉ２は、領域Ｃ１、Ｃ３に対して斜め方向に離れて配置された領域Ｃ２から見たときの画像に相当するため、Ｃｉ１、Ｃｉ３に対して斜め方向の視差を示す画像である。
　一方、Ｃｉ４が示す画像は、透明領域Ｃ４に入射する光による画像（白黒画像）であり、視差を示さない通常の画像である。したがって、領域Ｃ４の面積を領域Ｃ１、Ｃ２、Ｃ３に比べて大きくするほど、信号レベルの高い画像（白黒画像）を示す信号Ｃｉ４を得ることができる。
　本実施形態において、カラー画像を得るためには、上記処理を行わず、以下の式１２～１４に示す輝度信号Ｙｌ、式差信号ＲＹ、ＢＹを求めればよい。
　（式１２）Ｙｌ＝Ｍｓ＋Ｇｓ＋Ｃｓ＋Ｙｓ
　（式１３）ＲＹ＝Ｍｓ－Ｇｓ－Ｃｓ＋Ｙｓ
　（式１４）ＢＹ＝Ｍｓ－Ｇｓ＋Ｃｓ－Ｙｓ
　式１２～１４から得られる輝度信号Ｙｌおよび色差信号ＲＹ、ＢＹを、ＮＴＳＣ方式等で用いられている方法でＲＧＢ信号へと変換することにより、カラー画像を得ることができる。なお、得られるカラー画像は、透光板２に配置されたＣｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタの光透過率が比較的高いため、光利用率の高い画像である。
　なお、実施形態１と同様、透明領域Ｃ４への入射光による画像を示す信号Ｃｉ４に関する項だけを用いてカラー情報を得てもよい。その場合、式１１に基づく演算処理によってＣｉ４をまず求め、上記の式１２～１４において、Ｍｓ＝Ｃｉ４ΣＴｗＴｍｇ、Ｇｓ＝Ｃｉ４ΣＴｗＴｇ、Ｃｓ＝Ｃｉ４ΣＴｗＴｃｙ、Ｙｓ＝Ｃｉ４ΣＴｗＴｙｅとすればよい。
　以上のように、本実施形態によれば、Ｃｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタが互いに離れた位置に配置され、それ以外の領域が透明部材で構成された透光板２と、２行２列を基本構成とするマゼンタ（Ｍｇ）、緑（Ｇ）、シアン（Ｃｙ）、黄（Ｙｅ）の色フィルタから構成される色フィルタアレイを有するカラー撮像素子が用いられる。撮像素子から出力される光電変換信号に対して、光学系、色フィルタなどの分光透過率に関する積分演算によって得られる４×４の行列に基づく演算を施すことにより、視差を有する複数の画像と光利用率の高い通常画像とを得ることができる。さらに、撮像素子１の各光電変換信号を直接用いて輝度信号と色差信号を作るカラー処理を行うことにより、光利用率の高いカラー画像も得ることができるという効果を奏する。また、レンズ絞り１９の開口径が変化しても領域Ｃ１、Ｃ２、Ｃ３、Ｃ４の光を透過する部分の面積比率は変わらないため、上記の演算式を変えることなくレンズ絞り１９の開口径の変化に対応することができるという利点も有する。
　なお、本実施形態における透光板２において、領域Ｃ１、Ｃ２、Ｃ３の形状は扇形であるが、必ずしも扇形である必要はない。レンズ絞り１９の開口径が変化したときに各透過領域において光を受ける部分の面積比率が一定に保たれれば、領域Ｃ１、Ｃ２、Ｃ３の形状はどのような形状であってもよい。
　なお、本実施形態では、透光板２は、Ｃｙフィルタが配置された領域Ｃ１、Ｍｇフィルタが配置された領域Ｃ２、Ｙｅフィルタが配置された領域Ｃ３、透明領域Ｃ４から構成されるが、透明領域を含めた４つの領域の構成は上記の構成に限定されるものではない。各領域の透過波長域が異なり、透過率が比較的高いものであれば、どのような構成でも問題はない。
　また、撮像素子における色フィルタの組み合わせについても、Ｍｇ、Ｇ、Ｃｙ、Ｙｅの組み合わせに限られるものではない。各色フィルタの透過波長域が異なっていれば、色フィルタの色の組み合わせは任意である。
　上記の実施形態１および実施形態２では、透光板はそれぞれ３つおよび４つの透過領域を備え、撮像素子における各単位要素に含まれる色フィルタの種類の数も透過領域の数と同じく、それぞれ３種類および４種類である。しかしながら、本発明における透過領域の数および色フィルタの種類の数は、上記の数に限定されるものではない。例えば、各単位要素に含まれる色フィルタの種類の数が透過領域の数を上回っていてもよい。その場合であっても、各光感知セルの光電変換信号と透過領域に入射する光の量との間の関係式に基づく信号演算によって画像情報を求めることができる。
　また、透過領域の数および各単位要素に含まれる色フィルタの種類の数は、４つより多くてもよい。本発明の３次元撮像装置は、透過波長域が互いに異なるｎ個（ｎは３以上の整数）の透過領域を有する光透過部と、各単位要素において、透過波長域が互いに異なるｎ個の色フィルタを有していればよい。ただし、ｎ個の透過領域の少なくとも１つを透過する光は、１つの単位要素において、少なくとも２つの色フィルタを透過するものとする。
　図１０は、このように一般化した場合における光透過部２ａの例を示す図である。図示される例では、光透過部２ａは円形の形状を有しているが、他の形状を有していてもよい。この例では、光透過部２ａは、ｎ個の透過領域Ｃ１～Ｃｎを有している。透過領域Ｃ１～Ｃｎ－１は、光透過部２ａの中心を頂点とする扇形の形状を有し、それらの透過波長域は互いに異なっている。透過領域Ｃｎは可視光を全て透過する透明領域である。図１０に示す光透過部２ａでは、領域Ｃ１～Ｃｎ－１の各々と光透過部２ａの外周部分との間に隙間が空いており、その部分も透明領域Ｃｎに含まれるが、このような隙間はなくてもよい。光利用率向上の観点から、透過領域Ｃ１～Ｃｎ－１の透過波長域は、補色の波長域であることが好ましい。なお、透過領域Ｃ１～Ｃｎ－１の頂点が光透過部２ａの中心に位置していることは必須ではなく、これらの頂点が光透過部２ａの中心から多少離れていても本発明の効果を得ることは可能である。また、透過領域Ｃ１～Ｃｎ－１の形状は必ずしも扇形である必要はない。本発明においては、ｎ個の透過領域の少なくとも２個について、光透過部２ａの半径方向に垂直な方向のサイズが光透過部２ａの中心からの距離に応じて実質的に大きくなるように設計されていれば、各透過領域の形状は任意である。ここで、「実質的に大きくなる」とは、光透過部２ａの半径方向に垂直な方向のサイズが光透過部２ａの中心からの距離に応じて全体的に大きくなっていれば、局所的に小さくなる部分を含んでいてもよいことを意味する。以上のことから、光透過部２ａは、例えば２つの透過領域のみが光透過部２ａの中心を頂点とする扇形形状を有し、残りの透過領域は互いに異なる種々の形状を有するように構成されていてもよい。なお、ここでは領域Ｃｎは透明領域であるとしたが、領域Ｃｎも他の領域同様、特定の波長域の光のみを透過するように構成されていてもよい。また、光透過部２ａの一部が遮光領域であってもよい。
　図１１は、以上のような一般化した３次元撮像装置に設けられる撮像素子の各単位要素における色フィルタの配列の一例を示す図である。図示されるように、各単位要素は色フィルタＤ１～Ｄｎを有している。色フィルタＤ１～Ｄｎの透過波長域は互いに異なっている。なお、色フィルタの配列は図示される配列に限られず、どのような配列でもよい。
　上記の構成例において、光利用率向上の観点から、透過領域Ｃ１～Ｃｎのうち最も広い透過波長域を有する透過領域は、色フィルタＤ１～Ｄｎのうち最も広い透過波長域を有する色フィルタよりも広い透過波長域を有するように各透過領域および各色フィルタが設計されていることが好ましい。
　このように一般化した場合、光透過部２ａの各透過領域に入射する光による画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３・・・、Ｃｉｎと、撮像素子の各色フィルタに対応する光感知セルから出力される光電変換信号Ｄｓ１、Ｄｓ２、Ｄｓ３、・・・、Ｄｓｎとの間の関係は、以下の式１５で表すことができる。
Figure JPOXMLDOC01-appb-M000005
　式１５に基づいて画像情報Ｃｉ１～Ｃｉｎを求める場合、Ｍｘ１１～Ｍｘｎｎを要素とするｎ×ｎ行列の行列式が０に近い値にならないように撮像系の光学特性が構成されることが好ましい。式１５におけるｎ×ｎ行列の逆行列の要素をｉＭ１１～ｉＭｎｎとすると、式１５は、以下の式１６に変形できる。
Figure JPOXMLDOC01-appb-M000006
　式１６に基づく信号演算処理を実行することにより、光電変換信号Ｄｓ１～Ｄｓｎから透過領域Ｃ１～Ｃｎに入射する光の強度を示す信号Ｃｉ１～Ｃｉｎを生成することができる。これにより、視差を有するｎ個の画像データを生成することができる。
　上記のように一般化した場合においても、信号Ｃｉ１～Ｃｉｎのいずれかを他の信号に加えることによって当該他の信号の信号レベルを大きくすることができる。この際、最も広い透過波長域をもつ透過領域、または最も面積の大きい透過領域に入射する光に対応する信号を他の信号に加えることが好ましい。また、カラー情報を得る際にも、最も広い透過波長域をもつ透過領域、または最も面積の大きい透過領域をもつ透過領域に入射する光に対応する信号を用いてＲＧＢの色信号を求めることが好ましい。
　なお、撮像装置は、信号Ｃｉ１～Ｃｉｎの全てを生成せずに、これらの信号のうち少なくとも２つの信号を生成するように構成されていてもよい。そのような構成であっても、視差を有する少なくとも２つの画像データを得ることができる。
　本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
　１　固体撮像素子
　１ａ　固体撮像素子の撮像面
　２　透光板
　２ａ　光透過部
　３　光学レンズ
　３ａ　透光板と光学レンズの機能が一体化された光学素子
　４　赤外カットフィルタ
　５　信号発生／受信部
　６　素子駆動部
　７　画像信号生成部
　８　インターフェース部
　９　撮像装置
　１０　画素
　１１　０度偏光の偏光板
　１２　９０度偏光の偏光板
　１３　反射鏡
　１４　ハーフミラー
　１５　円形の偏光フィルタ
　１６　偏光フィルタを回転させる駆動装置
　１７、１８　偏光フィルタ
　１９　レンズ絞り
　２０、２２、２３　光束制限板
　２０ａ　赤系統の光を透過させる色フィルタ
　２０ｂ　青系統の光を透過させる色フィルタ
　２１　感光フィルム
　２２Ｒ、２３Ｒ　光束制限板のＲ光透過領域
　２２Ｇ、２３Ｇ　光束制限板のＧ光透過領域
　２２Ｂ、２３Ｂ　光束制限板のＢ光透過領域
　３０　メモリ
　５２　光を反射する光学素子
　１００　撮像部
　１１０　色フィルタ
　１２０　光感知セル
　２００　信号処理部

Claims (11)

  1. 　透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過部と、
    　光感知セルアレイ、および前記光感知セルアレイに対向して配置された色フィルタアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイおよび前記色フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに１対１に対応して配置された、透過波長域が互いに異なるＮ個の色フィルタを含む固体撮像素子と、
    　絞りを有し、前記固体撮像素子の撮像面に像を形成する光学系と、
    　前記固体撮像素子から出力される信号を処理する信号処理部と、
    を備え、
    　前記光透過部の中心は、前記光学系の光軸上に位置し、
    　前記Ｎ個の透過領域の少なくとも２個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している、３次元撮像装置。
  2. 　前記Ｎ個の透過領域の少なくともＮ－１個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している、請求項１に記載の３次元撮像装置。
  3. 　前記Ｎ個の透過領域の少なくともＮ－１個は、前記光透過部の中心を頂点とする扇形の形状を有している、請求項２に記載の３次元撮像装置。
  4. 　Ｎ＝３であり、
    　前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、
    　前記シアン領域の形状および前記黄領域の形状は扇形である、請求項１から３のいずれかに記載の３次元撮像装置。
  5. 　Ｎ＝４であり、
    　前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、
    　前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である、請求項１から３のいずれかに記載の３次元撮像装置。
  6. 　前記Ｎ個の透過領域および前記Ｎ個の色フィルタの透過波長域は、前記Ｎ個の透過領域の少なくとも１つを透過する光が前記Ｎ個の色フィルタの少なくとも２つを透過できるように設定され、
    　前記信号処理部は、前記Ｎ個の光感知セルから出力される信号に基づいて、前記Ｎ個の透過領域の各々に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する、請求項１から５のいずれかに記載の３次元撮像装置。
  7. 　請求項１から６のいずれかの３次元撮像装置に用いられる光透過板であって、
    　透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有し、
    　前記Ｎ個の透過領域の少なくとも２個は、半径方向に垂直な方向のサイズが中心からの距離に応じて大きくなる部分を有している、光透過板。
  8. 　前記Ｎ個の透過領域の少なくとも２個は、中心を頂点とする扇形の形状を有している、請求項７に記載の光透過板。
  9. 　前記Ｎ個の透過領域の少なくともＮ－１個は、中心を頂点とする扇形の形状を有している、請求項８に記載の光透過板。
  10. 　Ｎ＝３であり、
    　前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、
    　前記シアン領域の形状および前記黄領域の形状は扇形である、請求項７から９のいずれかに記載の光透過板。
  11. 　Ｎ＝４であり、
    　前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、
    　前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である、請求項７から９のいずれかに記載の光透過板。
PCT/JP2011/002379 2010-06-30 2011-04-22 ３次元撮像装置および光透過板 WO2012001853A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/498,331 US9086620B2 (en) 2010-06-30 2011-04-22 Three-dimensional imaging device and optical transmission plate
CN201180003195.XA CN102474649B (zh) 2010-06-30 2011-04-22 三维摄像装置及透光板

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010149996A JP5507362B2 (ja) 2010-06-30 2010-06-30 ３次元撮像装置および光透過板
JP2010-149996 2010-06-30

Publications (1)

Publication Number Publication Date
WO2012001853A1 true WO2012001853A1 (ja) 2012-01-05

Family

ID=45401604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002379 WO2012001853A1 (ja) 2010-06-30 2011-04-22 ３次元撮像装置および光透過板

Country Status (4)

Country Link
US (1) US9086620B2 (ja)
JP (1) JP5507362B2 (ja)
CN (1) CN102474649B (ja)
WO (1) WO2012001853A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6595161B2 (ja) 2014-07-31 2019-10-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び、撮像装置
US9661193B2 (en) * 2014-08-01 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and analyzing apparatus
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN112135066B (zh) * 2019-06-24 2022-02-25 北京地平线机器人技术研发有限公司 调整摄像装置的入射光强度的装置、方法、介质和设备
DE112020005346T5 (de) 2019-10-30 2022-08-11 Fujifilm Corporation Optisches element, optische vorrichtung und bildgebungsvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748878B2 (ja) 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) 1986-06-11 1987-12-18 Sharp Corp 撮像装置
TW420956B (en) * 1998-05-08 2001-02-01 Matsushita Electric Ind Co Ltd Solid state color camera
JP3863319B2 (ja) 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
US6807295B1 (en) 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
US20060092314A1 (en) 2004-10-31 2006-05-04 Silverstein D A Autofocus using a filter with multiple apertures
JP2006237737A (ja) 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
US20070263275A1 (en) * 2006-05-09 2007-11-15 Texas Instruments Incorporated Spatial Light Modulators with Light Transmissive Substrates
JP4728211B2 (ja) 2006-12-18 2011-07-20 パナソニック株式会社 固体撮像装置、カメラ、車両及び監視装置
JP2008172580A (ja) * 2007-01-12 2008-07-24 Toshiba Corp 固体撮像素子及び固体撮像装置
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20100103276A1 (en) 2008-10-28 2010-04-29 Border John N Split aperture capture of rangemap for 3d imaging
WO2010058545A1 (ja) 2008-11-19 2010-05-27 パナソニック株式会社 撮像装置
JP5012823B2 (ja) * 2009-01-28 2012-08-29 ソニー株式会社 撮像装置および撮像方法
JP5386512B2 (ja) 2009-01-30 2014-01-15 興和株式会社 眼科撮影装置
US8363093B2 (en) 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters
JP5406151B2 (ja) 2010-09-24 2014-02-05 パナソニック株式会社 ３次元撮像装置
JP5914881B2 (ja) 2011-05-19 2016-05-11 パナソニックＩｐマネジメント株式会社 ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法

Also Published As

Publication number Publication date
US20120182395A1 (en) 2012-07-19
CN102474649B (zh) 2015-06-03
JP2012015766A (ja) 2012-01-19
US9086620B2 (en) 2015-07-21
CN102474649A (zh) 2012-05-23
JP5507362B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5227368B2 (ja) ３次元撮像装置
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
US9041770B2 (en) Three-dimensional image capture device
JP5923754B2 (ja) ３次元撮像装置
WO2013100036A1 (ja) カラー撮像素子
WO2011142063A1 (ja) ３次元撮像装置
JP5903670B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP5995084B2 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
JP5507362B2 (ja) ３次元撮像装置および光透過板
JP5927570B2 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
JP5406163B2 (ja) ３次元撮像装置および画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003195.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800331

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13498331

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800331

Country of ref document: EP

Kind code of ref document: A1