WO2012137485A1 - ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2012137485A1
WO2012137485A1 PCT/JP2012/002321 JP2012002321W WO2012137485A1 WO 2012137485 A1 WO2012137485 A1 WO 2012137485A1 JP 2012002321 W JP2012002321 W JP 2012002321W WO 2012137485 A1 WO2012137485 A1 WO 2012137485A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
imaging
filters
unit
Prior art date
Application number
PCT/JP2012/002321
Other languages
English (en)
French (fr)
Inventor
育規 石井
平本　政夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/004,465 priority Critical patent/US9628776B2/en
Priority to JP2013508765A priority patent/JP5903670B2/ja
Priority to CN201280012326.5A priority patent/CN103636199B/zh
Publication of WO2012137485A1 publication Critical patent/WO2012137485A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/12—Stereoscopic photography by simultaneous recording involving recording of different viewpoint images in different colours on a colour film
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present application relates to a monocular three-dimensional imaging technique for acquiring a plurality of images having parallax.
  • image sensors In recent years, there has been a remarkable increase in functionality and performance of digital cameras and digital movies using solid-state image sensors such as CCDs and CMOSs (hereinafter sometimes referred to as “image sensors”).
  • image sensors due to advances in semiconductor manufacturing technology, the pixel structure in a solid-state image sensor has been miniaturized. As a result, higher integration of pixels and drive circuits of solid-state image sensors has been attempted. For this reason, in a few years, the number of pixels of the image sensor has increased significantly from about 1 million pixels to over 10 million pixels. Furthermore, the quality of the image obtained by imaging has improved dramatically.
  • a thin liquid crystal display or a plasma display enables high-resolution and high-contrast display without taking up space, and high performance is realized.
  • Such a flow of improving the quality of video is spreading from a two-dimensional image to a three-dimensional image.
  • polarized glasses are required, but high-quality three-dimensional display devices are being developed.
  • a representative technique having a simple configuration includes a technique of acquiring an image for the right eye and an image for the left eye, respectively, using an imaging system including two cameras.
  • an imaging system including two cameras In such a so-called two-lens imaging method, since two cameras are used, the imaging apparatus becomes large and the cost can be high. Therefore, a method (monocular imaging method) for acquiring a plurality of images having parallax (hereinafter sometimes referred to as “multi-viewpoint images”) using one camera has been studied.
  • Patent Document 1 discloses a method of simultaneously acquiring two images having parallax using a color filter.
  • FIG. 16 is a diagram schematically showing an imaging system according to this method.
  • the imaging system in this technique includes a lens 3, a lens diaphragm 19, a light flux limiting plate 20 on which two color filters 20a and 20b having different transmission wavelength ranges are arranged, and a photosensitive film 21.
  • the color filters 20a and 20b are filters that transmit, for example, red and blue light, respectively.
  • FIG. 17 is a diagram schematically showing the light flux limiting plate 22 in this technique.
  • a light flux limiting plate in which an R region 22R that transmits red light, a G region 22G that transmits green light, and a B region 22B that transmits blue light are provided on a plane perpendicular to the optical axis of the imaging optical system. 22 is used.
  • the light transmitted through these areas is received by a color imaging device having an R pixel that detects red light, a G pixel that detects green light, and a B pixel that detects blue light. Is acquired.
  • Patent Document 3 discloses a technique for acquiring a plurality of images having parallax using a configuration similar to the configuration of FIG.
  • FIG. 18 is a diagram schematically showing the light flux limiting plate 23 disclosed in Patent Document 3. As shown in FIG. Even in this technique, a plurality of images having parallax can be created by allowing incident light to pass through the R region 23R, the G region 23G, and the B region 23B provided on the light flux limiting plate 23.
  • Patent Document 4 discloses a technique for generating a plurality of images having parallax using a pair of filters of different colors arranged symmetrically with respect to the optical axis.
  • a red filter and a blue filter as a pair of filters
  • the R pixel that detects red light observes the light transmitted through the red filter
  • the B pixel that detects blue light receives the light transmitted through the blue filter.
  • the positions of the red filter and the blue filter are different, the incident direction of light received by the R pixel and the incident direction of light received by the B pixel are different from each other.
  • the image observed at the R pixel and the image observed at the B pixel are images having different viewpoints.
  • the amount of parallax can be calculated by obtaining corresponding points for each pixel from these images.
  • the distance from the camera to the subject is obtained from the calculated amount of parallax and the focal length information of the camera.
  • Patent Document 5 a diaphragm to which two color filters having different aperture sizes (for example, red and blue) are attached, or two color filters having different colors are attached to positions symmetrical with respect to the optical axis.
  • a technique for obtaining distance information of a subject from two images acquired using a diaphragm In this technique, when light transmitted through red and blue color filters having different aperture sizes is observed, the degree of blur observed for each color is different. For this reason, the two images corresponding to the red and blue color filters have different degrees of blur depending on the distance of the subject. By obtaining corresponding points from these images and comparing the degree of blur, distance information from the camera to the subject can be obtained.
  • the two images corresponding to the red and blue color filters are images having parallax.
  • a plurality of images having parallax can be generated by arranging RGB color filters on the light beam limiting plate or the stop.
  • the RGB color filter since the RGB color filter is used, the amount of incident light is reduced to about 1/3. Further, in order to increase the amount of parallax to be obtained, it is necessary to dispose a plurality of color filters at positions separated from each other and reduce their area. However, if the area of the color filter is reduced, the amount of incident light further decreases.
  • Patent Document 6 A technique that can obtain a plurality of images having parallax and a normal image having no problem in light quantity is disclosed in Patent Document 6 using a diaphragm in which a plurality of RGB color filters are arranged. It is disclosed. According to this technique, the image sensor receives only light transmitted through the RGB color filter when the diaphragm is closed, and receives all incident light because the RGB color filter area is out of the optical path when the diaphragm is opened. be able to. As a result, a multi-viewpoint image can be acquired when the aperture is closed, and a normal image with a high light utilization rate can be acquired when the aperture is open.
  • Patent Documents 1 to 6 it is impossible to obtain a multi-viewpoint image with a high light utilization rate.
  • the embodiment of the present invention provides a three-dimensional imaging technique capable of generating a multi-viewpoint image with a higher light utilization rate than in the past.
  • a three-dimensional imaging device is provided so that light is incident in parallel.
  • an image sensor arranged to receive the light transmitted through the light transmitting portion, and is disposed facing the photosensitive cell array and the photosensitive cell array.
  • the photosensitive cell array and the filter array are composed of a plurality of unit elements, and each unit element is arranged to face N photosensitive cells and the N photosensitive cells.
  • An image sensor including N second filters having different wavelength dependences of the transmitted transmittance, an image forming unit that forms an image on the image pickup surface of the image sensor, and M times (M is equal to or greater than N) Before taking an integer)
  • An imaging drive unit that drives a light transmission unit, wherein each position of the N types of first filters is changed for each imaging on N positions predetermined with respect to the imaging element.
  • An imaging drive unit that drives the light transmission unit.
  • the three-dimensional imaging apparatus it is possible to obtain a multi-viewpoint image with a higher light utilization rate than in the past.
  • FIG. 2 is a schematic diagram illustrating a schematic configuration of a light-transmitting plate, an optical system, and an image sensor in Exemplary Embodiment 1.
  • FIG. 2 is a figure which shows arrangement
  • FIG. 2 is a diagram illustrating a basic configuration of a color filter of an image sensor in exemplary embodiment 1.
  • FIG. It is a schematic diagram for demonstrating the light which injects into the light transmission board 2 in exemplary Embodiment 1, and the light which permeate
  • FIG. 6 is a table showing the relationship between the position and color component of a filter arranged in a transmission region and an output signal in exemplary embodiment 1. It is a figure which shows the image which has the parallax calculated by the method in exemplary Embodiment 1.
  • FIG. It is a figure which shows the example of the light transmission board in illustrative Embodiment 2.
  • FIG. 2 is a configuration diagram of an imaging system in Patent Document 1.
  • FIG. It is an external view of the light beam restricting plate in Patent Document 2.
  • Patent Documents 1 to 5 it is possible to acquire a multi-viewpoint image, but it is not possible to increase the light utilization rate in the image sensor.
  • a primary color (RGB system) color filter is used.
  • Patent Document 6 a normal image with a high light utilization rate can be acquired by using a mechanism that removes the color filter from the optical path by mechanical driving.
  • a primary color filter is used when acquiring a multi-viewpoint image, it is not possible to obtain a multi-viewpoint image with a high light utilization rate.
  • the wavelength range of the light reflected by the subject has a bias, so that all wavelengths of light are not incident on the imaging device equally. Therefore, for example, when a red subject is photographed using red and blue color filters, the reflected light from the subject passes through the red color filter but does not pass through the blue color filter. As a result, with the conventional technique, there is a possibility that a multi-viewpoint image cannot be obtained correctly when the subject is a chromatic color.
  • Patent Document 3 discloses a technique for generating a color image having parallax by acquiring distance information using the linearity of a color when photographing a chromatic subject.
  • the subject is a primary color or there is no texture in the shooting scene, it is difficult to acquire distance information due to color linearity.
  • a multi-viewpoint image can be generated with a higher light utilization rate than in the past.
  • a three-dimensional imaging device which is one embodiment of the present invention is provided with N types (N is an integer of 2 or more) of N types having different wavelength dependencies of transmittance, which are provided so that light is incident in parallel.
  • a light transmission part having one filter, and an image pickup device arranged to receive light transmitted through the light transmission part, and having a light sensitive cell array and a filter array arranged to face the light sensitive cell array.
  • the photosensitive cell array and the filter array are composed of a plurality of unit elements, and each unit element has N light sensing cells and a transmittance of the N light sensing cells.
  • An image sensor including N second filters having different wavelength dependencies, an image forming unit that forms an image on an image pickup surface of the image sensor, and continuously imaging M times (M is an integer equal to or greater than N).
  • An image driving unit that drives the light transmission unit so that each position of the N types of first filters is changed for each imaging on N positions predetermined with respect to the imaging element.
  • An imaging drive unit that drives the light transmission unit so that each position of the N types of first filters is changed for each imaging on N positions predetermined with respect to the imaging element.
  • the N types of first filters are designed such that light of an arbitrary wavelength included in visible light can pass through at least one of the N types of first filters. At least one of the types of first filters has a transmission wavelength range wider than the primary color wavelength range.
  • the three-dimensional imaging device has a plurality of outputs from the N photosensitive cells included in each unit element for each of the M times of imaging.
  • An image generation unit that generates N multiple viewpoint images corresponding to the N positions based on the photoelectric conversion signal is provided.
  • the image generation unit outputs a plurality of outputs from the N photosensitive cells included in each unit element for each of the M times of imaging. Based on the photoelectric conversion signal, M ⁇ N image signals are generated by the light components passing through the N positions, and the generated N ⁇ M image signals are combined to generate the N number of image signals. N color multi-viewpoint images corresponding to the positions are generated.
  • three types of transmission wavelength regions of the N types of first filters are cyan, magenta, yellow, Each of the three wavelength ranges of red, blue and green is designed to be equal.
  • N 3
  • the transmission wavelength range of the N types of first filters is cyan, magenta, yellow
  • the transmission wavelength ranges of the N second filters are designed to be equal to the red, blue, and green wavelength ranges, respectively.
  • the N types of first filters in the light transmission unit have a distance from the center of the light transmission unit. They are all equal and are arranged so that the distances between two adjacent first filters are equal.
  • the imaging drive unit rotates the light transmission unit around the center of the light transmission unit.
  • the positions of the N types of first filters are changed for each image pickup on the N positions.
  • An image processing apparatus generates a multi-viewpoint image based on a signal acquired by the three-dimensional imaging apparatus according to any one of items (1) to (8). And N corresponding to the N positions based on a plurality of photoelectric conversion signals output for each of the M times of imaging from the N photosensitive cells included in each unit element of the imaging device. One multi-viewpoint image is generated.
  • the image processing device is configured to output the N number of photoelectric conversion signals based on a plurality of photoelectric conversion signals output for each of the M times of imaging from the N number of photosensitive cells included in each unit element.
  • N ⁇ M multi-viewpoint images corresponding to the N positions are generated by generating M ⁇ N image signals by light of components passing through the positions and combining the generated N ⁇ M image signals. Is generated.
  • An image processing method is an image for generating a multi-viewpoint image based on a signal acquired by the three-dimensional imaging device according to any one of items (1) to (8).
  • a processing method which corresponds to the N positions based on a plurality of photoelectric conversion signals output for each of the M times of imaging from the N photosensitive cells included in each unit element of the imaging device. Generating N multi-viewpoint images.
  • the step of generating the N multiple viewpoint images includes converting the N photoelectric cells included in each unit element into a plurality of photoelectric conversion signals output every M times of imaging. Based on the step, generating M ⁇ N image signals by light of components passing through the N positions, and combining the generated N ⁇ M image signals with the N positions. Generating N color multi-viewpoint images corresponding to.
  • An image processing program is an image processing program for generating a multi-viewpoint image based on a signal acquired by the three-dimensional imaging device according to the embodiment of the present invention.
  • N pieces corresponding to the N positions are provided.
  • a step of generating a multi-viewpoint image is executed.
  • the step of generating the N multiple-viewpoint images is performed on the plurality of photoelectric conversion signals output for each of the M times of imaging from the N photosensitive cells included in each unit element. Based on the step, generating M ⁇ N image signals by light of components passing through the N positions, and combining the generated N ⁇ M image signals with the N positions. Generating N color multi-viewpoint images corresponding to.
  • FIG. 1 is a block diagram showing the overall configuration of the imaging apparatus according to the first embodiment of the present invention.
  • the imaging apparatus according to the present embodiment is a digital electronic camera, and includes an imaging unit 100 and a signal processing unit 200 that generates a signal (image signal) indicating an image based on a signal from the imaging unit 100.
  • the imaging device in the present embodiment may generate only a still image or may have a function of generating a moving image.
  • the imaging unit 100 includes an imaging element (image sensor) 1 including a plurality of photosensitive cells (pixels) arranged on an imaging surface, and three transparent regions having different transmission wavelength ranges and transmits incident light.
  • An optical plate (light transmitting portion) 2 an optical lens 3 for forming an image on the imaging surface of the imaging device, and an infrared cut filter 4 are provided.
  • the image pickup unit 100 also generates a basic signal for driving the image pickup device 1, receives an output signal from the image pickup device 1 and sends it to the signal processing unit 200, and signal generation / reception.
  • An element driving unit 6 that drives the imaging device 1 based on the basic signal generated by the unit 5 and a rotation driving unit 9 that rotates the light-transmitting plate 2 are provided.
  • the rotation drive unit 9 has the function of the imaging drive unit in the present invention.
  • the image pickup device 1 is typically a CCD or CMOS sensor, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 5 and the element driving unit 6 are composed of an LSI such as a CCD driver, for example.
  • the rotation drive unit 9 includes a motor that rotates the light transmissive plate 2, and rotates the light transmissive plate 2 around the center in conjunction with the element drive unit 6.
  • the signal processing unit 200 processes the signal output from the imaging unit 100 to generate an image signal, the memory 30 that stores various data used for generating the image signal, and the generated image And an interface (IF) unit 8 for sending a signal to the outside.
  • the image signal generation unit 7 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • the memory 30 is configured by a DRAM or the like.
  • the memory 30 records the signal obtained from the imaging unit 100 and temporarily records the image data generated by the image signal generation unit 7 and the compressed image data. These image data are sent to a recording medium (not shown) or a display unit via the interface unit 8.
  • the imaging apparatus may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present embodiment. .
  • FIG. 2 is a diagram schematically showing the arrangement relationship of the light transmitting plate 2, the lens 3, and the imaging element 1 in the imaging unit 100.
  • the lens 3 may be a lens unit composed of a plurality of lens groups, but is illustrated as a single lens in FIG. 2 for simplicity.
  • the translucent plate 2 has three transmission regions C1, C2, and C3 having different transmission wavelength ranges, and transmits at least part of incident light.
  • the lens 3 is a known lens, collects the light transmitted through the translucent plate 2, and forms an image on the imaging surface 1 a of the imaging device 1. In the present embodiment, it is assumed that light does not pass through areas other than the transmission areas C1, C2, and C3 of the translucent plate 2.
  • xy coordinates shown in FIG. 2 are used. 2 is merely an example, and the present invention is not limited to such an arrangement relationship.
  • the lens 3 may be arranged farther from the imaging element 1 than the translucent plate 2 as long as an image can be formed on the imaging surface 1a.
  • the lens 3 and the translucent plate 2 may be configured integrally.
  • FIG. 3 is a front view of the translucent plate 2 in the present embodiment.
  • the shape of the translucent plate 2 in the present embodiment is a circle like the lens 3, but may be other shapes such as a square or a hexagon.
  • a color filter (Cy filter) that transmits light in the cyan (Cy) wavelength range (green and blue wavelength ranges) is disposed in the region C1.
  • a color filter (Ye filter) that transmits light in the yellow (Ye) wavelength range (red and green wavelength ranges) is disposed in the region C2.
  • a color filter (Mg filter) that transmits light in the magenta (Mg) wavelength range (red and blue wavelength ranges) is arranged.
  • the regions C1, C2, and C3 in the present embodiment transmit light in the Cy wavelength region, light in the Ye wavelength region, and light in the Mg wavelength region, and not transmit light in other wavelength regions.
  • it may be comprised not only with a color filter but with what kind of member.
  • the regions C1, C2, and C3 are arranged so as to be rotationally symmetric with respect to the center of the light transmitting plate 2, and the respective centers are arranged apart from each other by a distance L.
  • the distance L between these regions is determined according to the size of the lens 3 so that the acquired image has an appropriate parallax.
  • the distance L can be set to several mm to several cm, for example.
  • a photosensitive cell array arranged two-dimensionally and a color filter array arranged to face the photosensitive cell array are formed.
  • the photosensitive cell array and the color filter array have a plurality of unit elements as will be described later, and each unit element includes four photosensitive cells and four color filters opposed to them.
  • Each photosensitive cell is typically a photodiode, and outputs an electrical signal (hereinafter referred to as “photoelectric conversion signal” or “pixel signal”) corresponding to the amount of received light by photoelectric conversion.
  • Each color filter is manufactured using a known pigment or the like, and is designed to selectively transmit light in a specific wavelength range.
  • FIG. 4 is a diagram schematically showing a part of the color filter array in the present embodiment.
  • a large number of color filters 110 are arranged in a matrix on the imaging surface 1a.
  • Four adjacent color filters 110 and four photosensitive cells 120 facing them constitute one unit element 40.
  • a color filter (R filter) that transmits light in the red (R) wavelength region is arranged in the first row and the first column.
  • a color filter (G filter) that transmits light in the green (G) wavelength region is arranged in the first row, second column, and second row, first column.
  • a color filter (B filter) that transmits light in the blue (B) wavelength region is disposed in the second row and the second column.
  • the arrangement of the color filters 110 in the present embodiment is a known Bayer arrangement based on 2 rows and 2 columns.
  • the arrangement of the photosensitive cells 120 and the color filters 110 is not necessarily a Bayer arrangement, and may be any known arrangement.
  • the pixel array shown in FIG. 4 may be an oblique array in which the vertical direction on the paper is rotated 45 degrees with respect to the axis direction.
  • the number of the photosensitive cells 120 included in one unit element is not limited to four, and may be any number as long as the number of light transmitting portions of the light transmitting plate 2 (three in the present embodiment).
  • each light sensing cell receives light that has passed through the color filter 110 facing the light transmitted through each of the regions C1, C2, and C3 of the translucent plate 2 and outputs a photoelectric conversion signal corresponding to the amount of light received. Output.
  • the photoelectric conversion signal output by each photosensitive cell is sent to the signal processing unit 200 through the signal generation / reception unit 5.
  • the image signal generation unit 7 in the signal processing unit 200 generates a plurality of color images having parallax based on the signal transmitted from the imaging unit 100.
  • FIG. 5 is a diagram schematically showing the relationship between the light incident on the translucent plate 2 and the light transmitted through the translucent plate 2.
  • the individual photosensitive cells 120 included in the single unit element 40 include Assume that red component lights R1, R2, and R3, green component lights G1, G2, and G3 and blue component lights B1, B2, and B3 are incident.
  • R1, G1, and B1 are light incident on the region C1, R2, G2, and B2 are light incident on the region C2, and R3, G3, and B3 are light incident on the region C3. .
  • each of the four photosensitive cells 120 includes: It is assumed that light having the same spectral distribution is incident.
  • the symbols R1, G1, B1, R2, G2, B2, R3, G3, and B3 may be used as symbols representing the amount of light.
  • Cy, Ye, and Mg filters are arranged in the regions C1, C2, and C3, respectively. Therefore, the light transmitted through the region C1 is G1 and B1, the light transmitted through the region C2 is R2 and G2, and the light transmitted through the region C3 is R3 and B3. Further, any of R, G, and B filters is arranged to face each photosensitive cell 120. Therefore, the photosensitive cell (R pixel) facing the R filter receives R2 and R3, and the photosensitive cell (G pixel) facing the G filter receives G1 and G2, and facing the B filter. (B pixel) receives B1 and B3.
  • each of the light sensing cells 120 receives light of a color component that has passed through the opposing color filter out of the light that has passed through the transmission regions C1, C2, and C3.
  • Each photosensitive cell 120 outputs a photoelectric conversion signal corresponding to the amount of received light.
  • Three multi-viewpoint images corresponding to the positions of the transmission regions C1, C2, and C3 can be generated by calculation using these photoelectric conversion signals.
  • the wavelength dependency (spectral transmittance) of the transmittance of the three color filters in the transmission regions C1, C2, and C3 and the four color filters 110 included in the unit element 40 may deviate from ideal characteristics.
  • the incident light attenuates slightly in the lens 3, the infrared cut filter 4, and the like. Therefore, the image signal generation unit 7 in the present embodiment performs the following calculation in consideration of the deviation and attenuation of these characteristics.
  • Ci1, Ci2, and Ci3 Signals corresponding to the light intensities of the components transmitted through the regions C1, C2, and C3 are denoted by Ci1, Ci2, and Ci3 with the suffix “i”, respectively. That is, Ci1 represents the light intensity of B1 and G1, Ci2 represents the light intensity of R2 and G2, and Ci3 represents the light intensity of R3 and B3.
  • the spectral transmittance of the lens 3 and the infrared cut filter 4 combined is Tw
  • the spectral transmittances of the Cy filter, Ye filter, and Mg filter are Tcy, Tye, and Tmg, respectively.
  • the spectral transmittances of the R, G, and B color filters are expressed as Tr, Tg, and Tb, respectively.
  • Tw, Tcy, Tye, Tmg, Tr, Tg, and Tb are functions that depend on the wavelength ⁇ of incident light.
  • Signals indicating the intensity of light transmitted through the R, G, and B color filters 110 and received by the photosensitive cell 120 immediately below are denoted by Rs, Gs, and Bs with a suffix “s”, respectively.
  • the integral calculation of the spectral transmittance in the wavelength range of visible light is represented by the symbol ⁇ .
  • the integral operation ⁇ TwTcyTrd ⁇ for the wavelength ⁇ is represented as ⁇ TwTcyTr.
  • the integration is performed over the entire wavelength range of visible light.
  • Rs is proportional to the result of adding Ci1 ⁇ TwTcyTr, Ci2 ⁇ TwTyeTr, and Ci3 ⁇ TwTmgTr.
  • Gs is proportional to the sum of Ci1 ⁇ TwTcyTg, Ci2 ⁇ TwTyeTg, and Ci3 ⁇ TwTmgTg.
  • Bs is proportional to the sum of Ci1 ⁇ TwTcyTb, Ci2 ⁇ TwTyeTb, and Ci3 ⁇ TwTmgTb. If the proportionality coefficient in these relationships is 1, Rs, Gs, and Bs can be expressed by the following equations 1 to 3.
  • Equations 1 to 3 ⁇ TwTcyTr, ⁇ TwTyeTr, and ⁇ TwTmgTr are represented by Mx11, Mx12, and Mx13, respectively.
  • ⁇ TwTcyTg, ⁇ TwTyeTg, and ⁇ TwTmgTg are represented by Mx21, Mx22, and Mx23, respectively, It will be expressed as Mx33.
  • the relationship between Rs, Gs, and Bs and Ci1, Ci2, and Ci3 can be expressed by the following Expression 4 using a matrix.
  • Equation 4 can be transformed into the following Equation 5. That is, the signal Ci1 indicating the intensity of the Cy component light included in the light incident on the area C1, the signal Ci2 indicating the intensity of the Ye component light included in the light incident on the area C2, and the light incident on the area C3.
  • the signal Ci3 indicating the intensity of the light of the contained Mg component can be expressed using information on the photoelectric conversion signals Rs, Gs, Bs and the known spectral transmittance.
  • the image signal generation unit 7 performs signal calculation based on Expression 5 and generates signals Ci1, Ci2, and Ci3 for each unit element.
  • the signals Ci1, Ci2, and Ci3 generated for each unit element in this way are incident on the image of the Cy component light incident on the region C1, the image of the Ye component light incident on the region C2, and the region C3, respectively.
  • An image is formed by light of the Mg component.
  • the image signals Ci1, Ci2, and Ci3 obtained by the above processing are expressed using photoelectric conversion signals Rs, Gs, and Bs, but these are not color images, and are out of light incident on the regions C1, C2, and C3. This corresponds to a grayscale image indicating the intensity of light in the wavelength region that passes through each region.
  • the three images represented by the signals Ci1, Ci2, and Ci3 are multi-viewpoint images because they correspond to images when the subject is viewed from the positions of the regions C1, C2, and C3, respectively.
  • the spectral distribution of light emitted from the light source is not always as uniform as the sun.
  • the amount of light reflected from the subject is represented by an integral calculation of the spectral distribution of light emitted from the light source and the spectral reflectance of the subject. Therefore, even if the subject is achromatic, if the spectral distribution of light emitted from the light source is biased, the spectral distribution of light reflected from the subject is also biased. If the spectral distribution of the light emitted from the light source is uniform and an achromatic subject is photographed, R1, G1, and B1 in FIG. 5 ideally have the same value.
  • the signals Ci1, Ci2, and Ci3 obtained by the calculation shown in (Equation 5) are arranged above the object in FIG. 3 (position of C3) if the color filters of the light transmitting plate 2 shown in FIG. 3 are arranged. 5 corresponds to an image of the Mg component viewed from the left, an image of the Cy component viewed from the left (position C1), and an image of the Ye component viewed from the right (position Ye). Therefore, it can be considered that the signals Ci1, Ci2, and Ci3 are images obtained by separating the colors of the subject into complementary colors and represent images having different viewpoints.
  • the translucent plate 2 in FIG. 3 is rotated as shown in FIGS. 6A, 6B, and 6C to take three images, and a plurality of different viewpoints are obtained by arithmetic processing.
  • a plurality of color images having parallax are generated by generating and synthesizing the image.
  • the rotation of the translucent plate 2 can be realized by attaching a belt to the translucent plate 2 and rotating the belt with a motor, for example, as in the method described in Non-Patent Document 1.
  • the rotation drive unit 9 rotates the translucent plate 2 by such a mechanism, and the image pickup device 1 acquires an image signal in each state of FIGS. 6A, 6B, and 6C.
  • the signals corresponding to Ci1, Ci2, and Ci3 in Equation 5 are represented as Cj1, Cj2, Cj3, and Ck1, Ck2, and Ck3, respectively, in each state of FIGS. 6B and 6C. .
  • the image signals Ci1, Ci2, and Ci3 are calculated by the calculation based on Expression 5.
  • the translucent plate 2 is rotated 120 degrees to obtain the state 2 shown in FIG. 6B, and the image signals Cj1, Cj2, and Cj3 are calculated in the same manner.
  • the light transmitting plate 2 is further rotated 120 degrees to obtain the state 3 shown in FIG. 6C, and the image signals Ck1, Ck2, and Ck3 are calculated.
  • FIG. 7 shows an example of the result of generating three color images corresponding to each state from the image signal calculated as described above.
  • FIG. 7A shows a color image captured using the image signals Ci1, Ci2, and Ci3 acquired in the initial state 1 as the Cy component, the Ye component, and the Mg component, respectively.
  • FIG. 7B shows color images obtained by using the image signals Cj1, Cj2, and Cj3 acquired in the state 2 rotated 120 degrees from the initial state as the Cy component, the Ye component, and the Mg component, respectively.
  • FIG. 7 (c) shows color images taken with the image signals Ck1, Ck2, and Ck3 acquired in the state 3 rotated 240 degrees from the initial state as the Cy component, Ye component, and Mg component, respectively.
  • FIG. 7 shows an example of the result of generating three color images corresponding to each state from the image signal calculated as described above.
  • FIG. 7A shows a color image captured using the image signals Ci1, Ci2, and Ci3 acquired in the initial state 1 as the Cy component, the Ye component,
  • the color of the subject on the left side is red
  • the color of the subject near the center is blue
  • the color of the subject on the upper right is green.
  • the subject on the left is the foreground and the subject on the right is the farthest. Note that none of the three images shown in FIG. 7 includes parallax information.
  • FIG. 8 shows an example in which the results obtained by calculating Ci1, Ci2, Ci3, Cj1, Cj2, Cj3, Ck1, Ck2, and Ck3 from the Rs, Gs, and Bs signals are displayed as images for the image shown in FIG. FIG.
  • the first row, the second row, and the third row are respectively positions of the light-transmitting plate 2 in the state 1 (0 degree rotation), the state 2 (120 degree rotation), and the state 3 (240 degree rotation) ( A gray image is shown by light transmitted through the left, top, and right).
  • FIG. 9 is a table showing which image signal corresponds to the combination of each position and each color component on the translucent plate 2. The color components of the color filters arranged in each transmission region are shown in the horizontal direction of the table shown in FIG.
  • a color image when the subject is viewed from the left is obtained by the following (Expression 6) obtained by modifying (Expression 4).
  • the red, green, and blue component signals in the color image are represented as Rs1, Gs1, and Bs1, respectively.
  • Equation 6 is obtained by replacing signals Ci1, Ci2, and Ci3 indicating the intensity of light transmitted through the regions C1, C2, and C3 in Equation 4 with Ci1, Cj2, and Ck3, respectively.
  • Ci2 and Cj2 are that the types of filter colors are the same for the Ye filter, but the viewpoint of viewing the subject is different.
  • Ci2 represents an image when the subject is viewed from the right
  • Cj2 represents an image when the subject is viewed from the left.
  • Ci3 and Ck3 is also the same.
  • Ci3 represents an Mg component image when the subject is viewed from above
  • Ck3 represents an Mg component image when the subject is viewed from the left.
  • Mx11 to Mx33 do not have information regarding the direction in which light enters.
  • Mx11 to Mx33 are the spectral transmittances of the Cy, Ye, and Mg color filters in the light transmitting plate 2, the spectral transmittances of the R, G, and B color filters in the image sensor 1, and the spectral transmittances of IR filters, lenses, and the like.
  • Information That is, Mx11 represents an integrated value of the spectral transmittance of the Cy filter and the spectral transmittance of the R filter.
  • Mx12 represents an integrated value of the spectral transmittance of the Ye filter and the spectral transmittance of the R filter.
  • Mx13 represents an integrated value of the spectral transmittance of the Mg filter and the spectral transmittance of the R filter.
  • Mx11 to Mx33 are known information determined when the imaging apparatus is manufactured.
  • the value of Rs1 obtained by (Expression 6) is obtained by multiplying the light intensity Ci1 and Mx11 that pass through the Cy filter from the direction of the subject as viewed from the left, and the light intensity Cj2 and Mx12 that passes through the Ye filter. And the product of the light intensity Ck3 passing through the Mg filter multiplied by Mx13.
  • the values of Gs1 and Bs1 are obtained in the same manner.
  • a color image when the subject is viewed from the right can be calculated by the following (Expression 7), where the red component is represented as Rs2, the blue component as Gs2, and the blue component as Bs2.
  • a color image when the subject is viewed from above can be calculated by the following (Equation 8), where the red component is Rs3, the blue component is Gs3, and the blue component is Bs3.
  • imaging is performed while rotating the translucent plate 2 three times, and the intensities of a plurality of lights that pass through the transmission regions C1, C2, and C3 of the translucent plate 2 are calculated from the captured individual images.
  • a color image having parallax can be generated.
  • the complementary color (Cy, Ye, Mg) color filter is used for the light transmitting portion of the light transmitting plate 2 to synthesize images for three times, so that the light utilization rate is higher than in the prior art. Imaging sensitivity can be improved.
  • the matching process using the color linearity disclosed in Patent Document 3 is not performed, a multi-viewpoint image can be generated stably without depending on the blur amount and flatness of the image.
  • FIGS. 10A and 10B show the results of generating color images when the subject is viewed from the left and right, respectively.
  • a color image when the subject is viewed from above is not shown.
  • Two dotted lines (straight line 1 and straight line 2) shown in FIG. 10 indicate the same x coordinate in the two images.
  • the straight line 1 is drawn along the outline of the red subject at the front
  • the straight line 2 is drawn along the outline of the green subject at the back.
  • the x-coordinate of the contour of the subject in front is almost the same value, but the x-coordinate of the contour of the green subject in the back is different. Therefore, it can be seen that an image that looks different depending on the distance, that is, a multi-viewpoint image can be acquired.
  • the arrangement of the transmission region of the translucent plate 2 in the present embodiment is not limited to the above arrangement, but is ideally arranged with the center of the translucent plate 2 as an origin and an equidistant position therefrom. It is desirable to do. Thereby, it can be easily known in which direction the parallax appears with the center of the translucent plate 2 as the origin. Furthermore, it is desirable that the distance between adjacent transmission regions is equal. Specifically, it is desirable that the angle formed by the straight line passing through the region C1 and the origin and the straight line passing through the region C2 and the origin is 120 degrees. Similarly, it is desirable that an angle formed by a straight line passing through the region C2 and the origin and a straight line passing through the region C3 and the origin is 120 degrees.
  • the angle formed by the straight line passing through the region C3 and the origin and the straight line passing through the region C3 and the origin is 120 degrees.
  • the Cy filter, the Ye filter, and the Mg filter are disposed in the transmission regions C1, C2, and C3 of the light transmitting plate 2, respectively, but the configuration is not limited thereto.
  • These color filters may be primary color filters (for example, R, G, B filters), or transmission that transmits light in a wavelength region wider than the primary color in at least one transmission region from the viewpoint of improving the light utilization rate.
  • a filter may be arranged.
  • a complementary color filter may be disposed in one of the three transmission regions, and a primary color filter may be disposed in the remaining two.
  • the same processing as in the present embodiment can be applied.
  • the spectral transmittance of each transmission region is designed so that light of an arbitrary wavelength included in visible light can pass through one of the transmission regions, a good color multi-viewpoint image can be generated.
  • the color filter 110 included in one unit element 40 of the image pickup device 1 is not necessarily an R, G, B color filter. The same processing as that of the form can be applied.
  • the image pickup apparatus according to the present embodiment is different from the image pickup apparatus according to the first embodiment in the number of filters in the translucent plate 2.
  • the description will focus on the differences from the first embodiment, and a description of the overlapping items will be omitted.
  • the number of filters of the light-transmitting plate 2 is not limited to three, and may be any number as long as it is two or more.
  • N is an integer of 2 or more
  • each unit element 40 of the image sensor 1 includes N color filters having different spectral transmittances and N photosensitive cells facing the color filters.
  • FIG. 11A is a diagram showing an example of the light transmitting plate 2 generalized in this way.
  • the illustrated translucent plate 2 includes N filters C1 to CN that are arranged so that light is incident in parallel and that have different wavelength dependencies of transmittance.
  • the filters C1 to CN are all equal in distance from the center of the translucent plate 2, and all the distances between two adjacent transmission regions are equal.
  • FIG. 11B is a diagram illustrating an example of a filter array included in one unit element 40 in the image sensor 1.
  • One unit element 40 includes N photosensitive cells and N filters D1 to DN facing the N photosensitive cells. Note that the number of filters included in one unit element 40 may be greater than N.
  • transmission filter shown in figure is an example, and is not restricted to this example.
  • a rainbow pattern as shown in FIGS. 12A and 12B can be used as the translucent plate 2.
  • the light-transmitting plate 2 includes a filter 2a having a rainbow pattern and a light-shielding plate 2b having seven transmission regions (openings).
  • the filter 2a in FIG. 12A is a combination of seven types of filters having different spectral transmittances in a ring shape. By rotating the filter 2a, the spectral transmittance at each aperture position can be changed.
  • a filter having different spectral transmittances attached to the seven opening positions of the light shielding plate 2b may be used as the light-transmitting plate 2 and rotated.
  • each of the transmission regions C1 to C7 is circular and has the same area, but it does not necessarily have such a shape and area.
  • filters that transmit light in the wavelength ranges of red Re, orange Or, yellow Ye, green Gr, blue Bl, indigo In, and purple Vi are disposed at the positions of the transmission regions C1 to C7, respectively.
  • the image sensor 1 also includes the filters having the above-described seven types of spectral transmittance.
  • a signal indicating the intensity of the light of the color component transmitted through the transmission regions C1 to C7 out of the light incident on each photosensitive cell included in one unit element. Ci1 to Ci7, respectively. If the signal indicating the amount of light received in the photosensitive cell facing the seven types of color filters arranged in the image sensor 1 is Res, Ors, Yes, Grs, Bls, Ins, Vis, the signal is observed in each photosensitive cell.
  • the signal amount can be expressed by the following (formula 9) to (formula 15).
  • T′re, T′or, T′ye, T′gr, T′bl, T′In, and T′vi are red, orange, yellow, green, blue, Represents the spectral transmittance of indigo and purple filters.
  • Tre, Tor, Tye, Tgr, Tbl, TIn, and Tvi represent the spectral transmittances of the red, orange, yellow, green, blue, indigo, and purple filters disposed on the light-transmitting plate 2, respectively.
  • Tw is a spectral transmittance obtained by combining the lens 3 and the infrared cut filter 4 in the same manner as in (Expression 1) to (Expression 3).
  • the matrix elements Mx11 to Mx77 are values obtained by integrating Tw, the spectral transmittance of the transmission region in the light transmitting plate 1, and the spectral transmittance of the color filter in the image sensor 1. That is, Mx11, Mx12, Mx13, Mx14, Mx15, Mx16, and Mx17 are ⁇ TwTreT're, ⁇ TwTorT're, ⁇ TwTyeT're, ⁇ TwTgrT're, ⁇ TwTblT're, ⁇ TwTInT're, and ⁇ TwTviT're.
  • T're of Mx11 to Mx17 is T'or, respectively, for Mx31 to Mx37, T're of Mx11 to Mx17 is T'ye, and for Mx41 to Mx47 are Mx11 to Mx11, respectively.
  • T're of Mx17 is T'gr
  • Mx51 to Mx57 are T're of Mx11 to Mx17, respectively
  • T'bl Mx61 to Mx67 are T're of Mx11 to Mx17, respectively
  • T'In and Mx71 Mx77 is obtained by replacing T're of Mx11 to Mx17 with T'vi, respectively.
  • signals (Ci1 to Ci7) indicating the intensity of light from seven directions can be obtained in one shooting.
  • a signal indicating the intensity of light transmitted through each transmission region is obtained by calculation, so that seven types of spectral light are obtained from seven directions.
  • Intensities of light of color components that pass through a filter having transmittance (49 types in total) are obtained.
  • a color image can be synthesized by using a signal corresponding to the case where the subject is viewed from the same direction among the signals indicating the intensity of the acquired light.
  • the color information of the image when the subject is viewed from the position of the region C1 in the initial state is expressed by the following Expression 17.
  • Ci1, Cj2, Ck3, Cl4, Cm5, Cn6, and Co7 are signals indicating the light intensities of the color components that pass through the position in the first to seventh imaging.
  • Res1, Ors1, Yes1, Grs1, Bls1, Ins1, and Vis1 are signals indicating the amounts of red, orange, yellow, green, blue, indigo, and purple color components of the color image to be obtained, respectively.
  • Color images at other positions can also be obtained by similar calculations. Through the above processing, seven color multi-viewpoint images can be obtained corresponding to the seven transmission regions.
  • the light transmitting plate 2 is rotated in seven stages to acquire light from seven directions, but rotation and photographing may be performed in eight stages or more.
  • the information on the intensity of the light at the time of additional photographing has already been calculated, but there is an effect that a bright image can be obtained even in a dark environment by adding them.
  • the spectral transmittance of each of the transmission regions C1 to C7 is changed by rotating the light transmitting plate 2.
  • the spectral transmittance is not changed by shifting the color filter vertically or horizontally. May be changed.
  • the spectral transmittance of the plurality of transmission regions You may comprise so that may be changed.
  • each of the positions of the N types of color filters in the light transmission portion is configured to change for each image pickup on N positions preset for the image pickup device 1.
  • the light transmission part may be driven in any way.
  • FIG. 13 is a diagram illustrating a configuration example of a light transmitting plate 2c having two transmission regions C1 and C2.
  • a slide plate 2d on which three color filters are arranged is attached to the light transmitting plate 2c, and the spectral transmittance of the transmission regions C1 and C2 can be changed by sliding the slide plate 2d.
  • the slide plate 2d is provided with a Cy filter at the center and a Ye filter at both ends.
  • the transmission regions C1 and C2 are transparent in the absence of the slide plate 2d.
  • FIG. 13 is a diagram illustrating a configuration example of a light transmitting plate 2c having two transmission regions C1 and C2.
  • a slide plate 2d on which three color filters are arranged is attached to the light transmitting plate 2c, and the spectral transmittance of the transmission regions C1 and C2 can be changed by sliding the slide plate 2d.
  • the slide plate 2d is provided with a Cy filter at the center and a Ye filter at both ends.
  • each unit element of the image sensor 1 may be provided with two photosensitive cells and two color filters having different spectral transmittances facing them.
  • a multi-viewpoint image is obtained by obtaining a signal indicating the intensity of light of a component transmitted through each transmission region of the light-transmitting plate 2c by calculation using photoelectric conversion signals output for each imaging from the two photosensitive cells. Can do.
  • a grayscale image is obtained instead of a color image. Even when there are three or more transmissive regions, a multi-viewpoint image can be generated by the same mechanism.
  • the configuration shown in FIG. 14 may be adopted instead of FIG.
  • the transmission regions C1 and C2 in the state where there is no slide plate 2d are not transparent and are configured by G filters.
  • the slide plate 2d is provided with a B filter at the center and R filters at both ends.
  • the region C1 has the same characteristics as the Cy filter
  • the region C2 has the same characteristics as the Ye filter.
  • the region C1 has the same characteristics as the Ye filter
  • the region C2 has the same characteristics as the Cy filter. Therefore, the same effect as the configuration shown in FIG. 13 can be obtained.
  • the imaging device of each of the above embodiments generates an image by signal calculation from a photoelectric conversion signal obtained by imaging.
  • an image generation process by signal calculation may be executed by another device independent of the imaging device.
  • a signal that is acquired by the imaging device having the imaging unit 100 in each of the above embodiments is read by another device (image processing device), and a program that defines the signal calculation processing is incorporated in the image processing device. The same effect as described above can be obtained by causing the computer to execute the program.
  • FIG. 15 is a flowchart showing an example of a flow of a series of operations from imaging by such an imaging device and other devices to image generation.
  • the imaging apparatus performs imaging a plurality of times while changing the positions of the plurality of types of filters in the light transmission unit 2 (continuous shooting imaging).
  • the image processing apparatus generates a grayscale image based on component light that passes through each transmission region of the light transmission unit 2 from a plurality of pixel signals obtained by each imaging (grayscale multiple viewpoint image generation).
  • the image processing apparatus generates a color multi-viewpoint image by synthesizing the gray-scale multi-viewpoint image using the same calculation as Expression 17 (color multi-viewpoint image generation).
  • the imaging function and the image processing function can be configured to be executed by different devices.
  • the three-dimensional imaging device is effective for all cameras using a solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and solid-state surveillance cameras for industrial use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

　本発明の一態様に係る３次元撮像装置は、光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタＣ１、Ｃ２、Ｃ３を有する光透過部２と、透過率の波長依存性が互いに異なるＮ種類の第２フィルタを有する撮像素子１と、連続してＭ回（ＭはＮ以上の整数）の撮像を行うように光透過部２を駆動する撮像駆動部とを備えている。撮像駆動部は、第１フィルタＣ１、Ｃ２、Ｃ３の各位置を、撮像素子１に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように光透過部１を駆動する。

Description

３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
　本願は、視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
　３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献１に開示されている。図１６は、この方式による撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
　以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルム２１に結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム２１上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色成分の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム２１上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。
　特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１７は、この技術における光束制限板２２を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を、赤色光を検知するＲ画素、緑色光を検知するＧ画素、青色光を検知するＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
　また、特許文献３にも、図１７の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１８は、特許文献３に開示された光束制限板２３を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差を有する複数の画像を作ることができる。
　特許文献４も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量を算出することができる。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。
　特許文献５は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。
　上記の特許文献１～５に開示された技術によれば、光束制限板または絞りにＲＧＢ系統の色フィルタを配置することによって視差を有する複数の画像を生成することができる。しかしながら、ＲＧＢ系統の色フィルタを用いるため、入射光量は約１／３に減少する。また、取得する視差量を大きくするためには複数の色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、色フィルタの面積を小さくすると入射光量はさらに減少する。
　以上の従来技術に対して、ＲＧＢの複数の色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献６に開示されている。この技術によれば、撮像素子は、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけを受け、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外れるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では複数視点画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。
特開平２－１７１７３７号公報 特開２００２－３４４９９９号公報 特開２００９－２７６２９４号公報 特開２０１０－３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３－１３４５３３号公報
森上雄太、高木健、石井抱：視点変換アイリスによる実時間単眼ステレオシステム、第２７回日本ロボット学会学術講演会講演論文集、３Ｒ２－０６、２００９．
　特許文献１～６に開示された技術によれば、光利用率の高い複数視点画像を得ることはできない。
　本発明の実施形態は、従来よりも高い光利用率で複数視点画像を生成し得る３次元撮像技術を提供する。
　上記課題を解決するために、本発明の一態様に係る３次元撮像装置は、光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタを有する光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置されたフィルタアレイを有し、前記光感知セルアレイおよび前記フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるＮ個の第２フィルタを含む撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、連続してＭ回（ＭはＮ以上の整数）の撮像を行うように前記光透過部を駆動する撮像駆動部であって、前記Ｎ種類の第１フィルタの各位置を、前記撮像素子に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように前記光透過部を駆動する撮像駆動部とを備える。
　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
　本発明の一態様に係る３次元撮像装置によれば、従来よりも高い光利用率で複数視点画像を得ることができる。
例示的な実施形態１における全体構成を示すブロック図である。 例示的な実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図である。 例示的な実施形態１における透光板の色フィルタの配置を示す図である。 例示的な実施形態１における撮像素子の色フィルタの基本構成を示す図である。 例示的な実施形態１における透光板２に入射する光と透過する光とを説明するための模式図である。 例示的な実施形態１における透光板を回転させた例を示す図である。 例示的な実施形態１において透光板を回転させて撮影した３種類のカラー画像の例を示す図である。 例示的な実施形態１において撮影画像から求めた各透過領域を通過する成分の光による画像の例を示す図である。 例示的な実施形態１における透過領域に配置されたフィルタの位置および色成分と出力される信号との関係を示す表である。 例示的な実施形態１における方法で算出した視差を有する画像を示す図である。 例示的な実施形態２における透光板の例を示す図である。 例示的な実施形態２における撮像素子における色フィルタ配列の例を示す図である。 例示的な実施形態２における虹色パタンの透光板２の例を示す図である。 例示的な実施形態２におけるＮ＝７の場合の透光板２の例を示す図である。 例示的な他の実施形態におけるスライド板によって透過領域の分光透過率を変化させる構成の例を示す図である。 例示的な他の実施形態におけるスライド板によって透過領域の分光透過率を変化させる構成の他の例を示す図である。 例示的な他の実施形態における撮像からカラー複数視点画像生成までの手順を示すフロー図である。 特許文献１における撮像系の構成図である。 特許文献２における光束制限板の外観図である。 特許文献３における光束制限板の外観図である。
　本発明の基礎となった知見は以下のとおりである。
　特許文献１～５に開示された技術によれば、複数視点画像を取得することはできるが、撮像素子における光の利用率を高くすることができない。その理由の１つは、原色（ＲＧＢ系統）の色フィルタが用いられることにある。一方、特許文献６に開示された技術によれば、機械的駆動によって色フィルタを光路から外す機構を用いることにより、光利用率の高い通常画像を取得することができる。しかし、この技術においても複数視点画像を取得する際には原色の色フィルタが用いられるため、光利用率の高い複数視点画像を得ることはできない。
　また、有彩色の被写体を撮影する場合、被写体によって反射される光の波長域は偏りを持つため、全ての波長の光が等しく撮像装置に入射するわけではない。そのため、例えば、赤および青の色フィルタを用いて赤色の被写体を撮影する場合、被写体からの反射光は赤の色フィルタを通過するが、青の色フィルタを通過しないといった事態が生じる。その結果、従来の技術では、被写体が有彩色の場合に正しく複数視点画像が得られない可能性が生じる。
　特許文献３には、有彩色の被写体を撮影する場合において、色の線型性を利用して距離情報を取得することにより、視差を有するカラー画像を生成する技術が開示されている。しかしながら、被写体が原色である場合や撮影シーンにテクスチャがない場合には、色線型性による距離情報の取得が困難である。
　本願発明者らは、先行技術に関する以上の知見を見出し、本発明を完成させた。本発明の一態様によれば、従来よりも高い光利用率で複数視点画像を生成し得る。
　本発明の実施形態の概要は以下のとおりである。
　（１）本発明の一態様である３次元撮像装置は、光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタを有する光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置されたフィルタアレイを有し、前記光感知セルアレイおよび前記フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるＮ個の第２フィルタを含む撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、連続してＭ回（ＭはＮ以上の整数）の撮像を行うように前記光透過部を駆動する撮像駆動部であって、前記Ｎ種類の第１フィルタの各位置を、前記撮像素子に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように前記光透過部を駆動する撮像駆動部とを備えている。
　（２）ある態様において、前記Ｎ種類の第１フィルタは、可視光に含まれる任意の波長の光が前記Ｎ種類の第１フィルタの少なくとも１種類を透過できるように設計されており、前記Ｎ種類の第１フィルタの少なくとも１種類は、原色の波長域よりも広い透過波長域を有している。
　（３）項目（１）または（２）に記載の３次元撮像装置は、ある態様において、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する画像生成部を備えている。
　（４）項目（３）に記載の３次元撮像装置のある態様において、前記画像生成部は、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する。
　（５）項目（１）から（４）のいずれかに記載の３次元撮像装置のある態様において、前記Ｎ種類の第１フィルタのうちの３種類の透過波長域は、シアン、マゼンタ、黄、赤、青、緑のうちの３つの波長域にそれぞれ等しく設計されている。
　（６）項目（１）から（５）のいずれかに記載の３次元撮像装置のある態様において、Ｎ＝３であり、前記Ｎ種類の第１フィルタの透過波長域は、シアン、マゼンタ、黄の波長域にそれぞれ等しく設計され、前記Ｎ個の第２フィルタの透過波長域は、赤、青、緑の波長域にそれぞれ等しく設計されている。
　（７）項目（１）から（６）のいずれかに記載の３次元撮像装置のある態様において、前記光透過部における前記Ｎ種類の第１フィルタは、前記光透過部の中心からの距離が全て等しく、隣接する２つの第１フィルタ間の距離が等しくなるように配置されている。
　（８）項目（１）から（７）のいずれかに記載の３次元撮像装置のある態様において、前記撮像駆動部は、前記光透過部の中心を軸として前記光透過部を回転させることにより、前記Ｎ種類の第１フィルタの各位置を、前記Ｎ個の位置上で、撮像ごとに変化させる。
　（９）本発明の一態様である画像処理装置は、項目（１）から（８）のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理装置であって、前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する。
　（１０）ある態様において、前記画像処理装置は、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する。
　（１１）本発明の一態様である画像処理方法は、項目（１）から（８）のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理方法であって、前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを含む。
　（１２）ある態様において、前記Ｎ個の複数視点画像を生成するステップは、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップとを含む。
　（１３）本発明の一態様である画像処理プログラムは、本発明の実施形態による３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理プログラムであって、コンピュータに対し、前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを実行させる。
　（１４）ある態様において、前記Ｎ個の複数視点画像を生成するステップは、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップとを含む。
　以下、図面を参照しながら本発明の実施形態をより具体的に説明する。以下の説明において、共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。また、「上」、「左」、「右」等の位置を示す用語は、参照される図面に基づいて解釈されるものとする。実際の撮像装置の向きは常に変化し得るため、本明細書における位置を示す用語は、現実には撮像装置の向きに応じて様々な位置を意味し得る。
（実施形態１）
　図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。なお、本実施形態における撮像装置は、静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。
　撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板（光透過部）２と、撮像素子の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６と、透光板２を回転させる回転駆動部９とを備えている。本実施形態では、回転駆動部９が本発明における撮像駆動部の機能を有している。
　撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。回転駆動部９は、透光板２を回転させるモータを有し、素子駆動部６と連動して透光板２を、その中心を軸として回転させる。
　信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。
　次に、図２～４を参照しながら撮像部１００の構成をより詳細に説明する。
　図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光の少なくとも一部を透過させる。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、本実施形態では、光は、透光板２の透過領域Ｃ１、Ｃ２、Ｃ３以外の領域は通過しないものとする。以下の説明においては、図２に示すｘｙ座標を用いる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３と透光板２とが一体となって構成されていてもよい。
　図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、四角形や六角形等の他の形状であってもよい。領域Ｃ１には、シアン（Ｃｙ）の波長域（緑および青の波長域）の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域（赤および緑の波長域）の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。領域Ｃ３には、マゼンタ（Ｍｇ）の波長域（赤および青の波長域）の光を透過させる色フィルタ（Ｍｇフィルタ）が配置される。
　なお、本実施形態における領域Ｃ１、Ｃ２、Ｃ３は、それぞれＣｙの波長域の光、Ｙｅの波長域の光、Ｍｇの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。例えば、特定の波長域の光を透過し、他の波長域の光を反射するダイクロイックミラー等で構成されていてもよい。ここで、領域Ｃ１、Ｃ２、Ｃ３は、透光板２の中心に対して回転対称になるように配置され、各々の中心が互いに距離Ｌだけ離れて配置されている。初期状態において、これらの領域間の距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ～数ｃｍに設定され得る。
　図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、後述するように複数の単位要素を有し、各単位要素は、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。
　図４は、本実施形態における色フィルタアレイの一部を模式的に示す図である。図示されるように、撮像面１ａ上には多数の色フィルタ１１０が行列状に配列されている。近接する４つの色フィルタ１１０およびそれらに対向する４つの光感知セル１２０が１つの単位要素４０を構成している。各単位要素４０において、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青（Ｂ）の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。例えば、図４に示す画素配列を、紙面垂直方向を軸方向として４５度回転させた斜交型の配列であってもよい。また、１つの単位要素に含まれる光感知セル１２０の数は４つに限らず、透光板２の光透過部の数（本実施形態では３つ）以上であればよい。
　以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタ１１０を通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて視差を有する複数のカラー画像を生成する。
　図５は、透光板２に入射する光と透光板２を透過する光との関係を模式的に示す図である。３つの透過領域Ｃ１、Ｃ２、Ｃ３における各色フィルタ、および単位要素４０に含まれる各色フィルタ１１０が全て透明であると仮定したとき、１つの単位要素４０に含まれる個々の光感知セル１２０には、赤成分の光Ｒ１、Ｒ２、Ｒ３と、緑成分の光Ｇ１、Ｇ２、Ｇ３と、青成分の光Ｂ１、Ｂ２、Ｂ３とが入射するものと仮定する。ここで、Ｒ１、Ｇ１、Ｂ１は、領域Ｃ１に入射する光であり、Ｒ２、Ｇ２、Ｂ２は、領域Ｃ２に入射する光であり、Ｒ３、Ｇ３、Ｂ３は、領域Ｃ３に入射する光である。なお、赤成分、緑成分、青成分とは、可視光の波長域（約４００ｎｍ～約７００ｎｍ）を３分割した場合における、長波長帯、中間波長帯、短波長帯をそれぞれ意味する。ここで、１つの単位要素４０のサイズは、撮像面１ａ全体のサイズに比べて十分に小さいため（例えば、１千万分の１以下の面積）、４つの光感知セル１２０の各々には、同一の分光分布の光が入射するものと仮定している。以下の説明では、記号Ｒ１、Ｇ１、Ｂ１、Ｒ２、Ｇ２、Ｂ２、Ｒ３、Ｇ３、Ｂ３を、光の量を表す記号として用いる場合がある。
　実際には、領域Ｃ１、Ｃ２、Ｃ３には、Ｃｙ、Ｙｅ、Ｍｇフィルタがそれぞれ配置されている。そのため、領域Ｃ１を透過する光はＧ１およびＢ１であり、領域Ｃ２を透過する光はＲ２およびＧ２であり、領域Ｃ３を透過する光はＲ３およびＢ３である。さらに、各光感知セル１２０に対向して、Ｒ、Ｇ、Ｂフィルタのいずれかが配置されている。そのため、Ｒフィルタに対向する光感知セル（Ｒ画素）は、Ｒ２およびＲ３を受け、Ｇフィルタに対向する光感知セル（Ｇ画素）は、Ｇ１およびＧ２を受け、Ｂフィルタに対向する光感知セル（Ｂ画素）は、Ｂ１およびＢ３を受ける。
　以上のように、各光感知セル１２０は、透過領域Ｃ１、Ｃ２、Ｃ３を透過した光のうち、対向する色フィルタを透過した色成分の光を受ける。各光感知セル１２０は、受けた光の量に応じた光電変換信号を出力する。これらの光電変換信号を用いた演算により、各透過領域Ｃ１、Ｃ２、Ｃ３の位置に対応する３つの複数視点画像を生成することができる。
　以下、各光感知セルから出力される光電変換信号を用いた演算処理を説明する。
　透過領域Ｃ１、Ｃ２、Ｃ３における３つの色フィルタ、および単位要素４０に含まれる４つの色フィルタ１１０の透過率の波長依存性（分光透過率）は、理想的な特性からずれていることがある。また、レンズ３や赤外カットフィルタ４等においても僅かながら入射光が減衰する。そこで、本実施形態における画像信号生成部７は、これらの特性のずれや減衰を考慮して以下の演算を行う。
　まず、１つの単位要素４０に着目し、Ｃｙ、Ｍｇ、Ｙｅ、Ｒ、Ｇ、Ｂのいずれの色フィルタも存在しないと仮定した場合にその単位要素４０に入射する光のうち、透光板２の領域Ｃ１、Ｃ２、Ｃ３を透過する成分の光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３で表すこととする。すなわち、Ｃｉ１は、Ｂ１およびＧ１の光強度を表し、Ｃｉ２は、Ｒ２およびＧ２の光強度を表し、Ｃｉ３は、Ｒ３およびＢ３の光強度を表す。
　また、レンズ３および赤外カットフィルタ４を合わせた分光透過率をＴｗとし、Ｃｙフィルタ、Ｙｅフィルタ、Ｍｇフィルタの分光透過率をそれぞれＴｃｙ、Ｔｙｅ、Ｔｍｇとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｍｇ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。そして、Ｒ、Ｇ、Ｂの色フィルタ１１０を透過して直下の光感知セル１２０で受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。
　すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｍｇＴｒを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｍｇＴｇを合算した結果に比例する。Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｍｇＴｂを合算した結果に比例する。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１～３で表すことができる。
　（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｍｇＴｒ
　（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｍｇＴｇ
　（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｍｇＴｂ
　式１～３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｍｇＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｍｇＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｍｇＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、式４における要素Ｍｘ１１～Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１～ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１に入射する光に含まれるＣｙ成分の光の強度を示す信号Ｃｉ１、領域Ｃ２に入射する光に含まれるＹｅ成分の光の強度を示す信号Ｃｉ２、および領域Ｃ３に入射する光に含まれるＭｇ成分の光の強度を示す信号Ｃｉ３を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓおよび既知の分光透過率に関する情報を用いて表すことができる。
Figure JPOXMLDOC01-appb-M000002
　画像信号生成部７は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位要素ごとに生成する。このようにして単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、それぞれ領域Ｃ１に入射するＣｙ成分の光による画像、領域Ｃ２に入射するＹｅ成分の光による画像、および領域Ｃ３に入射するＭｇ成分の光による画像を構成する。
　以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、領域Ｃ１、Ｃ２、Ｃ３に入射する光のうち、各領域を透過する波長域の光の強度を示す濃淡画像に相当する。また、信号Ｃｉ１、Ｃｉ２、Ｃｉ３によって表される３つの画像は、領域Ｃ１、Ｃ２、Ｃ３の位置からそれぞれ被写体を見たときの画像に相当するため、複数視点画像である。
　一般的なシーンを撮影する場合、有彩色の被写体が存在する。あるいは、光源から出射される光の分光分布が太陽のように均一であるとは限らない。被写体からの反射光量は、光源から出射される光の分光分布と被写体の分光反射率との積分演算で表される。そのため、被写体が無彩色であっても、光源から出射される光の分光分布に偏りがある場合は、被写体から反射される光の分光分布も偏りを持つ。もし光源から出射される光の分光分布が均一であり、無彩色の被写体を撮影する場合は、理想的には図５におけるＲ１、Ｇ１、Ｂ１は同じ値になる。同様に、Ｒ２、Ｇ２、Ｂ２も同じ値になり、Ｒ３、Ｇ３、Ｂ３も同じ値になる。したがって、Ｃｙフィルタを通過した光の強度Ｇ１＋Ｂ１と、Ｙｅフィルタを通過した光の強度Ｒ２＋Ｇ２とは等しい。
　しかしながら、光源から出射される光の分光分布に偏りがある場合や、被写体が有彩色である場合には、３次元の実世界中で同じ被写体の点から反射される光であっても、Ｇ１＋Ｂ１、Ｒ２＋Ｇ２、およびＲ３＋Ｂ３は異なる値になる。例えば、赤い被写体であればＧ１＋Ｂ１＝０となり、Ｒ２＋Ｇ２＝Ｒ２となるが、Ｒ２≠０のため、Ｇ１＋Ｂ１≠Ｒ２＋Ｇ２となる。
　ここで、（式５）に示す演算によって得られる信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、図３に示す透光板２の色フィルタの配置であれば、それぞれ被写体を図３における上（Ｃ３の位置）から見たＭｇ成分の画像、被写体を左（Ｃ１の位置）から見たＣｙ成分の画像、および被写体を右（Ｙｅの位置）から見たＹｅ成分の画像に対応する。したがって、信号Ｃｉ１、Ｃｉ２、Ｃｉ３はそれぞれ被写体の色を補色系に分離した画像であって、それぞれ視点が異なる画像を表すと考えることができる。
　そこで、本実施形態では、図３の透光板２を図６（ａ）、（ｂ）、（ｃ）に示すように回転させて３枚の画像を撮影し、演算処理によって複数の異なる視点の画像の生成と合成処理とを行うことにより、視差を有する複数のカラー画像を生成する。透光板２の回転は、例えば非特許文献１に記載の方法のように、透光板２にベルトを付け、モータでベルトを回転させることによって実現できる。回転駆動部９は、このような機構により、透光板２を回転させ、撮像素子１は、図６（ａ）、（ｂ）、（ｃ）の各状態において画像信号を取得する。以下の説明では、図６（ｂ）および図６（ｃ）の各状態において、式５におけるＣｉ１、Ｃｉ２、Ｃｉ３に対応する信号を、それぞれＣｊ１、Ｃｊ２、Ｃｊ３、およびＣｋ１、Ｃｋ２、Ｃｋ３と表す。
　まず、図６（ａ）に示す状態１において、式５に基づく演算により、画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３を算出する。次に、透光板２を１２０度回転させ、図６（ｂ）に示す状態２にした上で、同様に画像信号Ｃｊ１、Ｃｊ２、Ｃｊ３を算出する。最後に、透光板２をさらに１２０度回転させ、図６（ｃ）に示す状態３にした上で、画像信号Ｃｋ１、Ｃｋ２、Ｃｋ３を算出する。
　以上のようにして算出された画像信号から各状態に対応する３つのカラー画像を生成した結果の例を図７に示す。図７（ａ）は、初期状態である状態１において取得された画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３をそれぞれＣｙ成分、Ｙｅ成分、Ｍｇ成分として撮影されたカラー画像を示している。図７（ｂ）は、初期状態から１２０度回転させた状態２において取得された画像信号Ｃｊ１、Ｃｊ２、Ｃｊ３をそれぞれＣｙ成分、Ｙｅ成分、Ｍｇ成分として撮影されたカラー画像を示している。図７（ｃ）は、初期状態から２４０度回転させた状態３において取得された画像信号Ｃｋ１、Ｃｋ２、Ｃｋ３をそれぞれＣｙ成分、Ｙｅ成分、Ｍｇ成分として撮影されたカラー画像を示している。図７に示す各画像において、左側の被写体の色は赤であり、中央付近の被写体の色は青であり、右上部の被写体の色は緑である。左側の被写体が最も手前にあり、右側の被写体が最も奥にある。なお、図７に示す３つの画像は、いずれも視差の情報を含んでいない。
　図８は、図７に示す画像について、Ｒｓ、Ｇｓ、Ｂｓの信号からＣｉ１、Ｃｉ２、Ｃｉ３、Ｃｊ１、Ｃｊ２、Ｃｊ３、Ｃｋ１、Ｃｋ２、Ｃｋ３を演算によって算出した結果を画像として表示した例を示す図である。図８において、１列目、２列目、３列目は、それぞれ状態１（０度回転）、状態２（１２０度回転）、状態３（２４０度回転）における透光板２の各位置（左、上、右）を透過した光による濃淡画像を示している。また、図９は、透光板２における各位置と各色成分との組み合わせがどの画像信号に対応しているかを示す表である。図９に示す表の横方向に各透過領域に配置された色フィルタの色成分を示し、縦方向に色フィルタの透光板２における位置を示している。図８に示すように、透光板２を回転させて撮影した３枚の画像に基づいて演算で求められる画像成分は、３つの位置×３つの色成分の合計９個ある。ここで、透光板２の左側を透過する光のＣｙ成分、Ｙｅ成分、Ｍｇ成分は、それぞれＣｉ１、Ｃｊ２、Ｃｋ３に対応する。したがって、画像信号Ｃｉ１、Ｃｊ２、Ｃｋ３からカラー画像を合成すれば、被写体を左から見たときのカラー画像が得られる。同様に、Ｃｋ１、Ｃｉ２、Ｃｊ３を用いることにより、被写体を右から見たときのカラー画像を生成できる。また、Ｃｊ１、Ｃｋ２、Ｃｉ３を用いることにより、被写体を上から見たときのカラー画像を生成できる。
　以下、視点の異なる各カラー画像を求める方法を説明する。被写体を左から見た場合のカラー画像は、（式４）を変形した以下の（式６）で求められる。ここで、当該カラー画像における赤成分、緑成分、青成分の信号を、それぞれＲｓ１、Ｇｓ１、Ｂｓ１と表す。
Figure JPOXMLDOC01-appb-M000003
　式６は、式４における領域Ｃ１、Ｃ２、Ｃ３を透過する光の強度を示す信号Ｃｉ１、Ｃｉ２、Ｃｉ３が、それぞれＣｉ１、Ｃｊ２、Ｃｋ３に置き換わったものである。ここで、Ｃｉ２とＣｊ２との違いは、フィルタの色の種類はいずれもＹｅフィルタで等しいが、被写体を見る視点が異なる。図９に示すように、Ｃｉ２は右から被写体を見た場合の画像を表しているが、Ｃｊ２は左から被写体を見た場合の画像を表している。また、Ｃｉ３とＣｋ３との違いも同様であり、Ｃｉ３は上から被写体を見た場合のＭｇ成分の画像を表し、Ｃｋ３は左から被写体を見た場合のＭｇ成分の画像を表している。
　一方、（式６）において、Ｍｘ１１～Ｍｘ３３は、光が入射する方向に関する情報を有していない。Ｍｘ１１～Ｍｘ３３は、透光板２におけるＣｙ、Ｙｅ、Ｍｇの各色フィルタの分光透過率、撮像素子１におけるＲ、Ｇ、Ｂの各色フィルタの分光透過率、およびＩＲフィルタやレンズなどの分光透過率の情報を有している。すなわち、Ｍｘ１１は、Ｃｙフィルタの分光透過率とＲフィルタの分光透過率との積算値を表す。Ｍｘ１２は、Ｙｅフィルタの分光透過率とＲフィルタの分光透過率との積算値を表す。Ｍｘ１３は、Ｍｇフィルタの分光透過率とＲフィルタの分光透過率との積算値を表す。Ｍｘ１１～Ｍｘ３３は、撮像装置の製造時に決定される既知の情報である。
　（式６）によって得られるＲｓ１の値は、被写体を左から見た方向からＣｙフィルタを通過する光強度Ｃｉ１とＭｘ１１とを掛けたものと、Ｙｅフィルタを通過する光強度Ｃｊ２とＭｘ１２とを掛けたものと、Ｍｇフィルタを通過する光強度Ｃｋ３とＭｘ１３とを掛けたものとの合算により算出される。Ｇｓ１、Ｂｓ１の値も同様に求められる。これは、（式５）で表される、光が入射する方向が異なる場合の画素信号Ｒｓ、Ｇｓ、Ｂｓから視点位置が異なる補色系の信号を演算する処理の逆演算により、視点位置の等しい３種類の補色系の信号から、光の入射する方向が同一の画素信号Ｒｓ１、Ｇｓ１、Ｂｓ１が求められることを意味する。
　同様に、被写体を右から見たときのカラー画像は、赤成分をＲｓ２、青成分をＧｓ２、青成分をＢｓ２と表すと、以下の（式７）によって算出できる。
Figure JPOXMLDOC01-appb-M000004
　また、被写体を上から見たときのカラー画像は、赤成分をＲｓ３、青成分をＧｓ３、青成分をＢｓ３と表すと、以下の（式８）によって算出できる。
Figure JPOXMLDOC01-appb-M000005
　以上のように、透光板２を３回回転させながら撮影を行い、撮影した個々の画像から演算によって透光板２の透過領域Ｃ１、Ｃ２、Ｃ３を透過する複数の光の強度を求めることにより視差を有するカラー画像を生成できる。本実施形態によれば、透光板２の光透過部に補色（Ｃｙ、Ｙｅ、Ｍｇ）の色フィルタを用いて、３回分の画像を合成するため、従来技術に比べ、光利用率を高くすることができ、撮像感度を向上させることができる。また、特許文献３に開示されている色線形性を利用したマッチング処理を行わないため、画像のボケ量や平坦度に依存せず、安定して複数視点画像を生成することができる。
　以上の処理によって生成した画像の例を図１０に示す。図１０（ａ）、（ｂ）は、それぞれ左および右から被写体を見た場合のカラー画像を生成した結果を示している。なお、上から被写体を見た場合のカラー画像は図示していない。図１０に示す２つの点線（直線１、直線２）は、２枚の画像で同じｘ座標を示す。直線１は手前にある赤い被写体の輪郭に沿って描かれており、直線２は奥にある緑の被写体の輪郭に沿って描かれている。この例からわかるように手前にある被写体の輪郭のｘ座標はほぼ同じ値であるが、奥にある緑の被写体の輪郭のｘ座標が異なる。したがって距離により見え方の異なる画像、つまり複数視点画像が取得できたことがわかる。
　なお、本実施形態における透光板２の透過領域の配置は上記の配置に限らず任意であるが、理想的には、透光板２の中心を原点として、そこから等距離の位置に配置することが望ましい。これにより、透光板２の中心を原点として視差がどの方向に現れるかを容易に知ることができる。さらには、隣接する透過領域間の距離が等しいことが望ましい。具体的には、領域Ｃ１および原点を通る直線と、領域Ｃ２および原点を通る直線とがなす角度が１２０度になることが望ましい。同様に、領域Ｃ２および原点を通る直線と、領域Ｃ３および原点を通る直線とがなす角度が１２０度になることが望ましい。また、領域Ｃ３および原点を通る直線と、領域Ｃ３および原点を通る直線とがなす角度が１２０度になることが望ましい。以上の構成により、透光板２を回転させる角度を一定にすることができるため、機構系の制御が容易になり、かつ安定する。
　本実施形態では、透光板２の透過領域Ｃ１、Ｃ２、Ｃ３にはそれぞれＣｙフィルタ、Ｙｅフィルタ、Ｍｇフィルタを配置したが、このような構成に限られるものではない。透過領域Ｃ１、Ｃ２、Ｃ３に配置される色フィルタの種類は適宜選択してもよい。これらの色フィルタは、原色フィルタ（例えばＲ、Ｇ、Ｂフィルタ）であってもよいし、光利用率向上の観点から、少なくとも１つの透過領域に原色よりも広い波長域の光を透過させる透過フィルタが配置されていてもよい。例えば、３つの透過領域のうちの１つに補色系のフィルタが配置され、残りの２つに原色系のフィルタが配置されていてもよい。３つの透過領域における透過率の波長依存性が互いに異なっていれば、本実施形態と同様の処理を適用できる。また、可視光に含まれる任意の波長の光がいずれかの透過領域を透過できるように、各透過領域の分光透過率が設計されていれば、良好なカラー複数視点画像を生成できる。同様に、撮像素子１の１つの単位要素４０に含まれる色フィルタ１１０は、必ずしもＲ、Ｇ、Ｂの色フィルタである必要はなく、透過率の波長依存性が互いに異なっていれば、本実施形態と同様の処理を適用できる。
（実施形態２）
　次に、本発明の第２の実施形態を説明する。本実施形態における撮像装置は、透光板２におけるフィルタの数が実施形態１の撮像装置とは異なっている。以下、実施形態１と異なる点を中心に説明し、重複する事項についての説明は省略する。
　透光板２のフィルタの数は、３個に限らず、２個以上であれば何個であってもよい。以下、フィルタの種類の数をＮ（Ｎは２以上の整数）に一般化した場合に複数視点画像を生成する構成を説明する。前提条件として、透過率の波長依存性が互いに異なるＮ種類のフィルタを有する透光板２をＮ回以上回転させて撮影するものとする。また、撮像素子１の各単位要素４０は、互いに異なる分光透過率を有するＮ個の色フィルタおよびそれらに対向するＮ個の光感知セルを含んでいるものとする。
　図１１Ａは、このように一般化した透光板２の例を示す図である。図示される透光板２は、光が並列的に入射するように配置された、透過率の波長依存性が互いに異なるＮ個のフィルタＣ１～ＣＮを有している。フィルタＣ１～ＣＮは、透光板２の中心からの距離がいずれも等しく、隣接する２つの透過領域間の距離は全て等しいものとする。
　図１１Ｂは、撮像素子１における１つの単位要素４０に含まれるフィルタ配列の例を示す図である。１つの単位要素４０は、Ｎ個の光感知セルと、それらに対向するＮ個のフィルタＤ１～ＤＮを有している。なお、１つの単位要素４０に含まれるフィルタの数はＮ個よりも多くてもよい。また、図示される透過フィルタの配列は一例であり、この例に限られるものではない。
　以下、Ｎ＝７の場合を例に本実施形態の撮像装置をより具体的に説明する。透光板２として、例えば図１２Ａ、図１２Ｂに示すような虹色のパタンが利用できる。図１２Ａに示す例では、透光板２は、虹色パタンを有するフィルタ２ａと、７個の透過領域（開口）を有する遮光板２ｂとから構成される。図１２Ａにおけるフィルタ２ａは、互いに分光透過率が異なる７種類のフィルタがリング状に結合したものと考えることができる。フィルタ２ａを回転させることにより、各開口位置における分光透過率を変化させることができる。なお、虹色パタンのフィルタ２ａを設けずに、遮光板２ｂの７個の開口位置に異なる分光透過率のフィルタを張り付けたものを透光板２として用い、それを回転させてもよい。
　図１２Ｂに示すように、各透過領域Ｃ１～Ｃ７は、いずれも円形で、同一面積を有しているものとするが、必ずしもこのような形状、面積である必要はない。初期状態において、透過領域Ｃ１～Ｃ７の位置には、それぞれ赤Ｒｅ、オレンジＯｒ、黄Ｙｅ、緑Ｇｒ、青Ｂｌ、藍Ｉｎ、紫Ｖｉの波長域の光を透過させるフィルタが配置されているものとする。また、撮像素子１においても同様に上記の７種類の分光透過率を有するフィルタが配置されているものと仮定する。
　いずれのフィルタも配置されていないと仮定した場合に、１つの単位要素に含まれる各光感知セルに入射する光のうち、透過領域Ｃ１～Ｃ７を透過する色成分の光の強度を示す信号を、それぞれＣｉ１～Ｃｉ７とする。撮像素子１に配置された７種類の色フィルタに対向する光感知セルにおける受光量を示す信号を、Ｒｅｓ、Ｏｒｓ、Ｙｅｓ、Ｇｒｓ、Ｂｌｓ、Ｉｎｓ、Ｖｉｓとすると、各光感知セルで観測される信号量は、以下の（式９）～（式１５）で表すことができる。
（式９）
　Res = Ci1ΣTwTreT're + Ci2ΣTwTorT're + Ci3ΣTwTyeT're + Ci4ΣTwTgrT're+ Ci5ΣTwTblT're + Ci6ΣTwTInT're + Ci7ΣTwTviT're
（式１０）
　Ors = CiTwTreT'or + Ci2ΣTwTorT'or + Ci3ΣTwTyeT'or + Ci4ΣTwTgrT'or+ Ci5ΣTwTblT'or + Ci6ΣTwTInT'or + Ci7ΣTwTviT'or
（式１１）
　Yes = Ci1ΣTwTreT'ye + Ci2ΣTwTorT'ye + Ci3ΣTwTyeT'ye + Ci4ΣTwTgrT'ye+ Ci5ΣTwTblT'ye + Ci6ΣTwTInT'ye + Ci7ΣTwTviT'ye
（式１２）
　Grs = Ci1ΣTwTreT'gr + Ci2ΣTwTorT'gr + Ci3ΣTwTyeT'gr + Ci4ΣTwTgrT'gr+ Ci5ΣTwTblT'gr + Ci6ΣTwTInT'gr + Ci7ΣTwTviT'gr
（式１３）
　Bls = Ci1ΣTwTreT'bl + Ci2ΣTwTorT'bl + Ci3ΣTwTyeT'bl + Ci4ΣTwTgrT'bl+ Ci5ΣTwTblT'bl + Ci6ΣTwTInT'bl + Ci7ΣTwTviT'bl
（式１４）
　Ins = Ci1ΣTwTreT'In + Ci2ΣTwTorT'In + Ci3ΣTwTyeT'In + Ci4ΣTwTgrT'In+ Ci5ΣTwTblT'In + Ci6ΣTwTInT'In + Ci7ΣTwTviT'In
（式１５）
　Vis = Ci1ΣTwTreT'vi + Ci2ΣTwTorT'vi + Ci3ΣTwTyeT'vi + Ci4ΣTwTgrT'vi+ Ci5ΣTwTblT'vi + Ci6ΣTwTInT'vI + Ci7ΣTwTviT'vi
　ここで、Ｔ’ｒｅ、Ｔ’ｏｒ、Ｔ’ｙｅ、Ｔ’ｇｒ、Ｔ’ｂｌ、Ｔ’Ｉｎ、Ｔ’ｖｉは、それぞれ撮像素子１に配置された赤、オレンジ、黄、緑、青、藍、紫のフィルタの分光透過率を表す。また、Ｔｒｅ、Ｔｏｒ、Ｔｙｅ、Ｔｇｒ、Ｔｂｌ、ＴＩｎ、Ｔｖｉは、それぞれ透光板２に配置された赤、オレンジ、黄、緑、青、藍、紫のフィルタの分光透過率を表す。Ｔｗは（式１）～（式３）と同様にレンズ３、および赤外カットフィルタ４を合わせた分光透過率である。撮像素子１の受光信号Ｒｅｓ、Ｏｒｓ、Ｙｅｓ、Ｇｒｓ、Ｂｌｓ、Ｉｎｓ、Ｖｉｓと、透過領域Ｃ１～Ｃ７を透過する光の強度を示す信号Ｃｉ１～Ｃｉ７、および色フィルタの分光透過率との関係から、（式４）と同様、以下の（式１６）が得られる。
Figure JPOXMLDOC01-appb-M000006
　ここで、行列要素Ｍｘ１１～Ｍｘ７７は、Ｔｗ、透光板１における透過領域の分光透過率、撮像素子１における色フィルタの分光透過率の積分によって得られる値である。すなわち、Ｍｘ１１、Ｍｘ１２、Ｍｘ１３、Ｍｘ１４、Ｍｘ１５、Ｍｘ１６、Ｍｘ１７は、それぞれΣＴｗＴｒｅＴ’ｒｅ、ΣＴｗＴｏｒＴ’ｒｅ、ΣＴｗＴｙｅＴ’ｒｅ、ΣＴｗＴｇｒＴ’ｒｅ、ΣＴｗＴｂｌＴ’ｒｅ、ΣＴｗＴＩｎＴ’ｒｅ、ΣＴｗＴｖｉＴ’ｒｅである。以下同様に、Ｍｘ２１～Ｍｘ２７は、それぞれＭｘ１１～Ｍｘ１７のＴ’ｒｅをＴ’ｏｒに、Ｍｘ３１～Ｍｘ３７は、それぞれＭｘ１１～Ｍｘ１７のＴ’ｒｅをＴ’ｙｅに、Ｍｘ４１～Ｍｘ４７は、それぞれＭｘ１１～Ｍｘ１７のＴ’ｒｅをＴ’ｇｒに、Ｍｘ５１～Ｍｘ５７は、それぞれＭｘ１１～Ｍｘ１７のＴ’ｒｅをＴ’ｂｌに、Ｍｘ６１～Ｍｘ６７は、それぞれＭｘ１１～Ｍｘ１７のＴ’ｒｅをＴ’Ｉｎに、Ｍｘ７１～Ｍｘ７７は、それぞれＭｘ１１～Ｍｘ１７のＴ’ｒｅをＴ’ｖｉに置き換えたものである。
　式１６に示す演算の逆演算を行うことにより、１回の撮影で７方向からの光の強度を示す信号（Ｃｉ１～Ｃｉ７）を求めることできる。これにより、例えば透過領域Ｃ１を通過する光の強度を示す信号（Ｃｉ１）から、被写体を上から見たときの画像を得ることができる。透光板２を（３６０／７）度ずつ回転させて最低７回撮影を行い、演算によって各透過領域を透過する光の強度を示す信号を求めることで、７つの方向から、７種類の分光透過率を有するフィルタを通過する色成分の光の強度（合計４９種類）が得られる。（式６）～（式８）と同様に、取得した光の強度を示す信号のうち、同じ方向から被写体を見た場合に相当する信号を利用して、カラー画像を合成することができる。例えば、初期状態における領域Ｃ１の位置から被写体を見たときの画像の色情報は、以下の式１７によって表される。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｃｉ１、Ｃｊ２、Ｃｋ３、Ｃｌ４、Ｃｍ５、Ｃｎ６、Ｃｏ７は、それぞれ１回目～７回目の撮影において当該位置を透過する色成分の光強度を示す信号である。Ｒｅｓ１、Ｏｒｓ１、Ｙｅｓ１、Ｇｒｓ１、Ｂｌｓ１、Ｉｎｓ１、Ｖｉｓ１は、それぞれ求めるカラー画像の赤、オレンジ、黄、緑、青、藍、紫の色成分の量を示す信号である。他の位置におけるカラー画像も同様の演算によって取得することができる。以上の処理により、７個の透過領域に対応して７個のカラー複数視点画像を得ることができる。
　なお、本実施形態では、透光板２を７段階に回転させて７方向からの光を取得するが、８段階以上回転および撮影を行っても構わない。その場合、追加で撮影したときの光の強度の情報は既に算出しているが、それらを加算することで暗い環境でも明るい画像を得ることができるという効果がある。
　上記の各実施形態では、透光板２を回転させることにより、各透過領域Ｃ１～Ｃ７の分光透過率を変化させるが、回転ではなく、縦や横に色フィルタをずらすことにより、分光透過率を変化させてもよい。また、透光板２の複数の透過領域に透明フィルタまたは特定の色フィルタを設け、透光板２の外側から透過領域ごとに異なる他の色フィルタを被せることによって複数の透過領域の分光透過率を変化させるように構成してもよい。本発明の実施形態では、光透過部におけるＮ種類の色フィルタの各位置が、撮像素子１に対して予め設定されたＮ個の位置上で、撮像ごとに変化するように構成されていれば、どのように光透過部を駆動してもよい。
　例えば、色フィルタを一方向にずらす構成として、図１３に示すような構成を採用してもよい。図１３は、２つの透過領域Ｃ１、Ｃ２を有する透光板２ｃの構成例を示す図である。透光板２ｃには、３つの色フィルタが配置されたスライド板２ｄが取り付けられ、スライド板２ｄをスライドさせることによって透過領域Ｃ１、Ｃ２の分光透過率を変化させることができる。図示される例では、スライド板２ｄには、中央にＣｙフィルタ、両端にＹｅフィルタが配置されている。図１３（ａ）に示すように、スライド板２ｄがない状態では透過領域Ｃ１、Ｃ２は透明である。図１３（ｂ）に示すように、透過領域Ｃ１の位置にＣｙフィルタが位置し、透過領域Ｃ２の位置にＹｅフィルタが位置する状態で１回目の撮像が行われる。続いて、図１３（ｃ）に示すように、透過領域Ｃ１の位置にＹｅフィルタが位置し、透過領域Ｃ２の位置にＣｙフィルタが位置する状態で２回目の撮像が行われる。この例では、撮像素子１の各単位要素に２つの光感知セルおよびそれらに対向する２つの分光透過率の異なる色フィルタが設けられていればよい。２つの光感知セルから撮像ごとに出力される光電変換信号を用いた演算によって透光板２ｃの各透過領域を透過する成分の光の強度を示す信号を求めることにより、複数視点画像を得ることができる。ただし、この例では、透過領域が２つしかないため、カラー画像ではなく濃淡画像が得られることになる。透過領域が３つ以上の場合も同様の機構によって複数視点画像を生成することができる。
　なお、図１３の代わりに図１４に示す構成を採用してもよい。図１４に示す構成では、スライド板２ｄがない状態における透過領域Ｃ１、Ｃ２は、透明ではなく、Ｇフィルタで構成される。この場合、スライド板２ｄには、中央にＢフィルタ、両端にＲフィルタが配置される。図１４（ｂ）に示す状態では、領域Ｃ１はＣｙフィルタと同じ特性を有し、領域Ｃ２はＹｅフィルタと同じ特性を有する。図１４（ｃ）に示す状態では、領域Ｃ１はＹｅフィルタと同じ特性を有し、領域Ｃ２はＣｙフィルタと同じ特性を有する。そのため、図１３に示す構成と全く同じ効果が得られる。
　上記の各実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても上記と同様の効果を得ることができる。
　図１５は、このような撮像装置および他の装置による撮像から画像生成までの一連の動作の流れの例を示すフロー図である。撮像装置は、まずステップＳ１において、光透過部２における複数種類のフィルタの各位置を変化させながら、複数回の撮像を行う（連写撮像）。次に、画像処理装置は、ステップＳ２において、各撮像によって得られた複数の画素信号から、光透過部２の各透過領域を通過する成分の光による濃淡画像を生成する（濃淡複数視点画像生成）。続いて、画像処理装置は、ステップＳ３において、式１７と同様の演算を用いて濃淡複数視点画像を合成することにより、カラー複数視点画像を生成する（カラー複数視点画像生成）。以上の動作により、撮像機能と画像処理機能とを別々の装置が実行するように構成できる。
　本発明の一態様に係る３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用できる。
　１ 固体撮像素子
　１ａ 固体撮像素子の撮像面
　２、２ａ、２ｂ、２ｃ 透光板（光透過部）
　２ｄ スライド板
　３ 光学レンズ
　４ 赤外カットフィルタ
　５ 信号発生／受信部
　６ 素子駆動部
　７ 画像信号生成部
　８ インターフェース部
　９ 回転駆動部
　１９ レンズ絞り
　２０、２２、２３ 光束制限板
　２０ａ 赤系統の光を透過させる色フィルタ
　２０ｂ 青系統の光を透過させる色フィルタ
　２１ 感光フィルム
　２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
　２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
　２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
　３０ メモリ
　４０ 単位要素
　１００ 撮像部
　１１０ 色フィルタ
　１２０ 光感知セル
　２００ 信号処理部

Claims (14)

  1. 　光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタを有する光透過部と、
    　前記光透過部を透過した光を受けるように配置された撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置されたフィルタアレイを有し、前記光感知セルアレイおよび前記フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるＮ個の第２フィルタを含む撮像素子と、
    　前記撮像素子の撮像面に像を形成する結像部と、
    　連続してＭ回（ＭはＮ以上の整数）の撮像を行うように前記光透過部を駆動する撮像駆動部であって、前記Ｎ種類の第１フィルタの各位置を、前記撮像素子に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように前記光透過部を駆動する撮像駆動部と、
    を備えている、３次元撮像装置。
  2. 　前記Ｎ種類の第１フィルタは、可視光に含まれる任意の波長の光が前記Ｎ種類の第１フィルタの少なくとも１種類を透過できるように設計されており、前記Ｎ種類の第１フィルタの少なくとも１種類は、原色の波長域よりも広い透過波長域を有する、請求項１に記載の３次元撮像装置。
  3. 　各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する画像生成部を備えている、請求項１または２に記載の３次元撮像装置。
  4. 　前記画像生成部は、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する、請求項３に記載の３次元撮像装置。
  5. 　前記Ｎ種類の第１フィルタのうちの３種類の透過波長域は、シアン、マゼンタ、黄、赤、青、緑のうちの３つの波長域にそれぞれ等しく設計されている、請求項１から４のいずれかに記載の３次元撮像装置。
  6. 　Ｎ＝３であり、
    　前記Ｎ種類の第１フィルタの透過波長域は、シアン、マゼンタ、黄の波長域にそれぞれ等しく設計され、
    　前記Ｎ個の第２フィルタの透過波長域は、赤、青、緑の波長域にそれぞれ等しく設計されている、
    請求項１から５のいずれかに記載の３次元撮像装置。
  7. 　前記光透過部における前記Ｎ種類の第１フィルタは、前記光透過部の中心からの距離が全て等しく、隣接する２つの第１フィルタ間の距離が等しくなるように配置されている、請求項１から６のいずれかに記載の３次元撮像装置。
  8. 　前記撮像駆動部は、前記光透過部の中心を軸として前記光透過部を回転させることにより、前記Ｎ種類の第１フィルタの各位置を、前記Ｎ個の位置上で、撮像ごとに変化させる、請求項１から７のいずれかに記載の３次元撮像装置。
  9. 　請求項１から８のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理装置であって、
    　前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する、画像処理装置。
  10. 　各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する、請求項９に記載の画像処理装置。
  11. 　請求項１から８のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理方法であって、
    　前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを含む画像処理方法。
  12. 　前記Ｎ個の複数視点画像を生成するステップは、
    　各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、
    　生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップと、
    を含む、請求項１１に記載の画像処理方法。
  13. 　請求項１から８のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理プログラムであって、
    コンピュータに対し、
    　前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを実行させる画像処理プログラム。
  14. 　前記Ｎ個の複数視点画像を生成するステップは、
    　各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、
    　生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップと、
    を含む、請求項１３に記載の画像処理プログラム。
PCT/JP2012/002321 2011-04-07 2012-04-03 ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム WO2012137485A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/004,465 US9628776B2 (en) 2011-04-07 2012-04-03 Three-dimensional imaging device, image processing device, image processing method, and image processing program
JP2013508765A JP5903670B2 (ja) 2011-04-07 2012-04-03 ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
CN201280012326.5A CN103636199B (zh) 2011-04-07 2012-04-03 三维摄像装置、图像处理装置、图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011085492 2011-04-07
JP2011-085492 2011-04-07

Publications (1)

Publication Number Publication Date
WO2012137485A1 true WO2012137485A1 (ja) 2012-10-11

Family

ID=46968894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002321 WO2012137485A1 (ja) 2011-04-07 2012-04-03 ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム

Country Status (4)

Country Link
US (1) US9628776B2 (ja)
JP (1) JP5903670B2 (ja)
CN (1) CN103636199B (ja)
WO (1) WO2012137485A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016034055A (ja) * 2014-07-31 2016-03-10 ソニー株式会社 画像処理装置、画像処理方法、及び、撮像装置
CN105493504A (zh) * 2013-09-11 2016-04-13 索尼公司 立体图片生成设备以及立体图片生成方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6299180B2 (ja) * 2013-11-27 2018-03-28 株式会社リコー 撮像装置、撮像システムおよび当該撮像装置による撮像方法
JP2016102733A (ja) * 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
USD757010S1 (en) * 2015-05-28 2016-05-24 Hewlett-Packard Development Company, L.P. Scanner turntable
USD810747S1 (en) * 2015-06-01 2018-02-20 Xyzprinting, Inc. Three dimensional scanning device
JP6699897B2 (ja) * 2016-11-11 2020-05-27 株式会社東芝 撮像装置、自動制御システム及びシステム
CN112475626B (zh) * 2020-11-10 2022-09-06 武汉华俄激光工程有限公司 一种智能制造用激光切割机构

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP2007017536A (ja) * 2005-07-05 2007-01-25 Ricoh Co Ltd プロジェクタ装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863319B2 (ja) * 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
WO2001063907A2 (en) * 2000-02-23 2001-08-30 Tenebraex Corporation Methods and apparatus for providing color images from monochromatic night vision and other electro-optical viewing devices
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
US20030147002A1 (en) * 2002-02-06 2003-08-07 Eastman Kodak Company Method and apparatus for a color sequential scannerless range imaging system
EP1672932A1 (en) * 2004-12-20 2006-06-21 Barco, naamloze vennootschap. Improved single light valve projection device and method for projecting images
JP2009276294A (ja) 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
CN101587283B (zh) * 2008-05-23 2011-01-05 鸿富锦精密工业（深圳）有限公司 成像装置
JP5099704B2 (ja) 2008-08-06 2012-12-19 独立行政法人産業技術総合研究所 高さを測定する方法及び高さ測定装置
GB2463480A (en) 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
CN201740969U (zh) 2010-07-19 2011-02-09 张德忠 三基色立体图像摄取设备
CN101902658A (zh) 2010-07-19 2010-12-01 张德忠 无重影多目立体图像摄取与重现系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP2007017536A (ja) * 2005-07-05 2007-01-25 Ricoh Co Ltd プロジェクタ装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493504A (zh) * 2013-09-11 2016-04-13 索尼公司 立体图片生成设备以及立体图片生成方法
CN105493504B (zh) * 2013-09-11 2018-08-17 索尼公司 立体图片生成设备以及立体图片生成方法
EP3000230B1 (en) * 2013-09-11 2018-10-10 Sony Corporation Stereoscopic picture generation apparatus and stereoscopic picture generation method
US10574968B2 (en) 2013-09-11 2020-02-25 Sony Corporation Stereoscopic picture generation apparatus and stereoscopic picture generation method
JP2016034055A (ja) * 2014-07-31 2016-03-10 ソニー株式会社 画像処理装置、画像処理方法、及び、撮像装置

Also Published As

Publication number Publication date
CN103636199B (zh) 2015-12-23
CN103636199A (zh) 2014-03-12
JP5903670B2 (ja) 2016-04-13
US20130342661A1 (en) 2013-12-26
JPWO2012137485A1 (ja) 2014-07-28
US9628776B2 (en) 2017-04-18

Similar Documents

Publication Publication Date Title
JP5903670B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
JP5227368B2 (ja) ３次元撮像装置
JP5923754B2 (ja) ３次元撮像装置
JP5853202B2 (ja) 撮像装置
JP5995084B2 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
JP5406151B2 (ja) ３次元撮像装置
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
JP5507362B2 (ja) ３次元撮像装置および光透過板
JP5914881B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
JP5406163B2 (ja) ３次元撮像装置および画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12767505

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013508765

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14004465

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12767505

Country of ref document: EP

Kind code of ref document: A1