WO2012098599A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2012098599A1
WO2012098599A1 PCT/JP2011/005832 JP2011005832W WO2012098599A1 WO 2012098599 A1 WO2012098599 A1 WO 2012098599A1 JP 2011005832 W JP2011005832 W JP 2011005832W WO 2012098599 A1 WO2012098599 A1 WO 2012098599A1
Authority
WO
WIPO (PCT)
Prior art keywords
transmission
light
image
transmittance
filters
Prior art date
Application number
PCT/JP2011/005832
Other languages
English (en)
French (fr)
Inventor
育規 石井
平本　政夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to KR1020127021181A priority Critical patent/KR101808355B1/ko
Priority to JP2012553469A priority patent/JP5853202B2/ja
Priority to CN201180014171.4A priority patent/CN102823230B/zh
Priority to US13/634,638 priority patent/US8902293B2/en
Publication of WO2012098599A1 publication Critical patent/WO2012098599A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/12—Stereoscopic photography by simultaneous recording involving recording of different viewpoint images in different colours on a colour film
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Definitions

  • the present invention relates to a monocular three-dimensional imaging technique for acquiring a plurality of images having parallax.
  • image sensors In recent years, there has been a remarkable increase in functionality and performance of digital cameras and digital movies using solid-state image sensors such as CCDs and CMOSs (hereinafter sometimes referred to as “image sensors”).
  • image sensors due to advances in semiconductor manufacturing technology, the pixel structure in a solid-state image sensor has been miniaturized. As a result, higher integration of pixels and drive circuits of solid-state image sensors has been attempted. For this reason, in a few years, the number of pixels of the image sensor has increased significantly from about 1 million pixels to over 10 million pixels. Furthermore, the quality of the image obtained by imaging has improved dramatically.
  • a thin liquid crystal display or a plasma display enables high-resolution and high-contrast display without taking up space, and high performance is realized.
  • Such a flow of improving the quality of video is spreading from a two-dimensional image to a three-dimensional image.
  • polarized glasses are required, but high-quality three-dimensional display devices are being developed.
  • a representative technique having a simple configuration includes a technique of acquiring an image for the right eye and an image for the left eye, respectively, using an imaging system including two cameras.
  • an imaging system including two cameras In such a so-called two-lens imaging method, since two cameras are used, the imaging apparatus becomes large and the cost can be high. Therefore, a method (monocular imaging method) for acquiring a plurality of images having parallax (hereinafter sometimes referred to as “multi-viewpoint images”) using one camera has been studied.
  • Patent Document 1 discloses a method of simultaneously acquiring two images having parallax using a color filter.
  • FIG. 11 is a diagram schematically showing an imaging system according to this method.
  • the imaging system in this technique includes a lens 3, a lens diaphragm 19, a light flux limiting plate 20 on which two color filters 20a and 20b having different transmission wavelength ranges are arranged, and a photosensitive film 21.
  • the color filters 20a and 20b are filters that transmit, for example, red and blue light, respectively.
  • FIG. 12 is a diagram schematically showing the light flux limiting plate 22 in this technique.
  • a light flux limiting plate in which an R region 22R that transmits red light, a G region 22G that transmits green light, and a B region 22B that transmits blue light are provided on a plane perpendicular to the optical axis of the imaging optical system. 22 is used.
  • the light transmitted through these areas is received by a color imaging device having an R pixel that detects red light, a G pixel that detects green light, and a B pixel that detects blue light. Is acquired.
  • Patent Document 3 discloses a technique for acquiring a plurality of images having parallax using a configuration similar to the configuration of FIG.
  • FIG. 13 is a diagram schematically showing the light flux limiting plate 23 disclosed in Patent Document 3. As shown in FIG. Even in this technique, a plurality of images having parallax can be created by allowing incident light to pass through the R region 23R, the G region 23G, and the B region 23B provided on the light flux limiting plate 23.
  • Patent Document 4 discloses a technique for generating a plurality of images having parallax using a pair of filters of different colors arranged symmetrically with respect to the optical axis.
  • a red filter and a blue filter as a pair of filters
  • the R pixel that detects red light observes the light transmitted through the red filter
  • the B pixel that detects blue light receives the light transmitted through the blue filter.
  • the positions of the red filter and the blue filter are different, the incident direction of light received by the R pixel and the incident direction of light received by the B pixel are different from each other.
  • the image observed at the R pixel and the image observed at the B pixel are images having different viewpoints.
  • the amount of parallax can be calculated by obtaining corresponding points for each pixel from these images.
  • the distance from the camera to the subject is obtained from the calculated amount of parallax and the focal length information of the camera.
  • Patent Document 5 a diaphragm to which two color filters having different aperture sizes (for example, red and blue) are attached, or two color filters having different colors are attached to positions symmetrical with respect to the optical axis.
  • a technique for obtaining distance information of a subject from two images acquired using a diaphragm In this technique, when light transmitted through red and blue color filters having different aperture sizes is observed, the degree of blur observed for each color is different. For this reason, the two images corresponding to the red and blue color filters have different degrees of blur depending on the distance of the subject. By obtaining corresponding points from these images and comparing the degree of blur, distance information from the camera to the subject can be obtained.
  • the two images corresponding to the red and blue color filters are images having parallax.
  • a plurality of images having parallax can be generated by arranging RGB color filters on the light beam limiting plate or the stop.
  • the RGB color filter since the RGB color filter is used, the amount of incident light is greatly reduced. Further, in order to increase the amount of parallax, it is necessary to dispose a plurality of color filters at positions separated from each other to reduce their area. However, when the area of the color filter is reduced, the amount of incident light further decreases.
  • Patent Document 6 A technique that can obtain a plurality of images having parallax and a normal image having no problem in light quantity is disclosed in Patent Document 6 using a diaphragm in which a plurality of RGB color filters are arranged. It is disclosed. According to this technique, the image sensor receives only light transmitted through the RGB color filter when the diaphragm is closed, and receives all incident light because the RGB color filter area is out of the optical path when the diaphragm is opened. be able to. As a result, a multi-viewpoint image can be acquired when the aperture is closed, and a normal image with a high light utilization rate can be acquired when the aperture is open.
  • a multi-viewpoint image can be acquired.
  • a primary color (RGB system) color filter is used, the amount of light received by the image sensor is greatly reduced.
  • Patent Document 6 it is possible to acquire a normal image having a high light utilization rate by using a mechanism for removing the color filter from the optical path by mechanical driving.
  • a primary color filter is used to acquire a multi-viewpoint image, it is not possible to obtain a multi-viewpoint image with a high light utilization rate.
  • this technique has a problem that the apparatus is increased in size and cost.
  • a multi-viewpoint image is generated using a photoelectric conversion signal (pixel signal) generated according to the amount of light incident on each pixel of the image sensor as it is, and corresponding point matching between the images is performed.
  • pixel signal photoelectric conversion signal
  • distance information is calculated.
  • the light flux limiting plate or the aperture color filter is a primary color filter
  • each color filter only transmits light with a wavelength included in its transmission wavelength range, so when a chromatic object is photographed, it passes through the left and right filters. A difference occurs in the amount of light to be emitted.
  • the pixel signal of the R pixel in the image sensor is B pixel. It becomes larger than the pixel signal.
  • the image generated from the pixel signal of the R pixel and the image generated from the pixel signal of the B pixel have a large pixel signal (shading) even at corresponding points representing the same point in the three-dimensional space. It will be different. As a result, these two images have a great discomfort in appearance, and if the color of the subject is different, the shades at the corresponding points are different, making it difficult to estimate the distance by matching.
  • the present invention can acquire a multi-viewpoint image even if the light incident from the subject is monochromatic light without performing mechanical driving, and can acquire a multi-viewpoint image with a high light utilization rate. Provide technology.
  • the three-dimensional imaging device receives a light transmission part having m (m is an integer of 2 or more) transmission regions having different wavelength dependences of transmittance, and light transmitted through the light transmission part.
  • a solid-state imaging device arranged, having a light-sensitive cell array and a transmission filter array arranged to face the light-sensitive cell array, wherein the light-sensitive cell array and the transmission filter array are composed of a plurality of unit elements.
  • Each unit element includes n photosensitive cells (n is an integer equal to or larger than m), and n transmission filters arranged opposite to the n photosensitive cells and having different wavelength dependencies from each other.
  • Tc1 ( ⁇ ) and Tc2 ( ⁇ ) are functions indicating the transmittance of any two of the m transmission regions, and the wavelength of any two of the n transmission filters.
  • the function indicating the transmittance of the transmission filter is Td1 ( ⁇ ) and Td2 ( ⁇ )
  • the integration interval is the wavelength range of the entire visible light
  • m multi-viewpoint images are generated by light incident on the m transmission regions using photoelectric conversion signals output from at least m photosensitive cells among the n photosensitive cells.
  • the image generation part which performs is further provided.
  • the image generator generates the m multi-viewpoint images by an operation using an n-by-m matrix determined based on the transmittance of each transmission region and the transmittance of each transmission filter. Generate.
  • the image generation unit includes ⁇ Tc1 ( ⁇ ) Td1 ( ⁇ ), ⁇ Tc1 ( ⁇ ) Td2 ( ⁇ ) d ⁇ , ⁇ Tc2 ( ⁇ ) Td1 ( ⁇ ) d ⁇ and ⁇ Tc2 ( ⁇ ) Td2 ( ⁇ ) d ⁇ are used to generate the multi-viewpoint image using a 2-by-2 matrix having elements of the matrix.
  • the transmittance in at least one of the m transmissive regions and the transmittance in at least one of the n transmissive filters are designed so as not to have wavelength dependency in a visible light wavelength region. Has been.
  • At least one of the m transmission regions and at least one of the n transmission filters are transparent.
  • the present invention it is possible to acquire a multi-viewpoint image even if the light incident from the subject is monochromatic light without performing mechanical driving. Furthermore, according to a preferred embodiment of the present invention, it is possible to acquire a multi-viewpoint image having a higher light utilization rate than before.
  • FIG. 2 is a schematic diagram illustrating a schematic configuration of a light-transmitting plate, an optical system, and an image sensor in the first embodiment.
  • FIG. 3 is a diagram illustrating a basic configuration of a transmission filter of an image sensor in the first embodiment.
  • the figure which shows the example of the spectral transmittance of the transmissive filter in a light transmission board The figure which shows the example of the spectral transmittance of the transmissive filter in an image sensor
  • FIG. 1 is a block diagram showing the overall configuration of the imaging apparatus according to the first embodiment of the present invention.
  • the imaging apparatus of this embodiment is a digital electronic camera, and includes an imaging unit 100 and a signal processing unit 200 that generates a signal (image signal) indicating an image based on a signal output from the imaging unit 100. ing.
  • the imaging unit 100 includes an imaging element (image sensor) 1 including a plurality of photosensitive cells (pixels) arranged on an imaging surface, and two transmission regions having different wavelength dependencies (spectral transmittances) of transmittance.
  • a translucent plate (light transmitting portion) 2 an optical lens 3 for forming an image on the imaging surface of the imaging device 1, and an infrared cut filter 4 are provided.
  • the image pickup unit 100 also generates a basic signal for driving the image pickup device 1, receives an output signal from the image pickup device 1 and sends it to the signal processing unit 200, and signal generation / reception.
  • an element driving unit 6 that drives the image sensor 1 based on the basic signal generated by the unit 5.
  • the image sensor 1 is typically a CCD or CMOS sensor, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 5 and the element driving unit 30 are composed of an LSI such as a CCD driver, for example.
  • the signal processing unit 200 processes the signal output from the imaging unit 100 to generate an image signal, the memory 30 that stores various data used for generating the image signal, and the generated image And an interface (IF) unit 8 for sending a signal to the outside.
  • the image signal generation unit 7 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • the memory 30 is configured by a DRAM or the like.
  • the memory 30 records the signal obtained from the imaging unit 100 and temporarily records the image data generated by the image signal generation unit 7 and the compressed image data. These image data are sent to a recording medium (not shown) or a display unit via the interface unit 8.
  • the imaging apparatus of the present embodiment may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • FIG. 2 is a diagram schematically showing an arrangement relationship of the light transmitting plate 2, the optical lens 3, and the imaging element 1 in the imaging unit 100.
  • components other than the translucent plate 2, the optical lens 3, and the image sensor 1 are omitted.
  • the light transmissive plate 2 has two transmissive regions C1 and C2 having different spectral transmittances and transmits incident light.
  • the optical lens 3 is a known lens, collects the light transmitted through the translucent plate 2, and forms an image on the imaging surface 1 a of the imaging device 1.
  • areas other than the transmissive areas C ⁇ b> 1 and C ⁇ b> 2 are formed of a light blocking member, and are configured so that light does not pass through other than the transmissive areas C ⁇ b> 1 and C ⁇ b> 2 of the translucent plate 2.
  • coordinates in which the direction from the region C1 to C2 is the x direction and the direction perpendicular to the x direction on the plane parallel to the imaging surface 1a is the y direction are used. 2 is merely an example, and the present invention is not limited to such an arrangement relationship.
  • the lens 3 may be arranged farther from the imaging element 1 than the translucent plate 2 as long as an image can be formed on the imaging surface 1a.
  • the lens 3 and the translucent plate 2 may be configured integrally.
  • FIG. 3 is a front view of the translucent plate 2 in the present embodiment.
  • the shape of the light-transmitting plate 2 in the present embodiment is a circle like the shape of the lens 3, but may be another shape.
  • a transmission filter that transmits at least a part of light having an arbitrary wavelength included in the wavelength region of the visible light W is disposed.
  • Each of the transmission filters transmits light having an arbitrary wavelength included in the visible light wavelength range.
  • the brightness (luminance) of transmitted light is different from each other. Details of the spectral transmittance of each transmission region will be described later.
  • Each transmission filter may be formed of any member as long as it has a function of transmitting light with a desired transmittance.
  • Each transmission filter may be made of, for example, glass, plastic, cellophane, or the like.
  • transmission filters having different spectral transmittances are arranged in the transmission regions C1 and C2, but each region may be formed of any member having a desired spectral transmittance. .
  • transparent means a state in which the transmittance does not depend on the wavelength in the wavelength range of visible light, and no light absorption or scattering occurs.
  • the region C1 and the region C2 are arranged with a certain distance L in the x direction.
  • the distance L is determined according to the size of the lens 3 so that the acquired image has an appropriate parallax.
  • the distance L can be set to several mm to several cm, for example.
  • the transmissive regions C1 and C2 are preferably arranged symmetrically in the left and right (x direction) with respect to the optical axis and have the same area. With this configuration, the amounts of light incident on the left and right regions C1 and C2 are substantially equal. Note that the arrangement of the transmissive areas C1 and C2 is not limited to the arrangement shown in FIG.
  • the transmissive regions C1 and C2 may be arranged in the y direction.
  • the difference between the transmittances of the transmission regions C1 and C2 is large, the difference between the observed pixel values is large, and thus there is a difference in brightness between the two acquired images. Therefore, when the difference between the transmittances of the transmissive regions C1 and C2 is large, the areas of the regions C1 and C2 may be adjusted so that the brightness of the two acquired images is close.
  • each unit element includes two photosensitive cells and two transmission filters facing them.
  • Each photosensitive cell typically includes a photodiode, and outputs an electrical signal (referred to as a “photoelectric conversion signal” or “pixel signal”) corresponding to the amount of light received by photoelectric conversion.
  • Each transmission filter is manufactured using a known pigment, a dielectric multilayer film, or the like, and is designed to transmit at least a part of light having an arbitrary wavelength included in the wavelength range of visible light.
  • FIG. 4 is a top view schematically showing a part of the transmission filter array in the present embodiment.
  • a large number of transmission filters 110 are arranged in a matrix on the imaging surface 1a.
  • two transmission filters 110 adjacent to each other and two photosensitive cells 120 facing each other are included in one unit element.
  • Each of the two transmission filters D1 and D2 included in each unit element transmits light having an arbitrary wavelength included in the visible light wavelength range, but the wavelength dependency of the transmittance is different from each other.
  • the setting of the transmittances of these transmission filters D1 and D2 will be described later together with the transmittances of the transmission regions C1 and C2 of the translucent plate 2.
  • the two photosensitive cells are arranged side by side (x direction), but the arrangement of the photosensitive cells 120 may be any other arrangement. For example, it may be arranged vertically (y direction) or may be arranged obliquely. Further, the number of photosensitive cells 120 included in one unit element is not limited to two, and may be three or more. Furthermore, the photosensitive cell 120 and the transmission filter 110 do not need to be arranged along the x direction and the y direction, and may be arranged obliquely with respect to the x direction and the y direction.
  • Each photosensitive cell receives light that has passed through the opposing transmission filter among the light transmitted through the regions C1 and C2 of the translucent plate 2, and outputs a photoelectric conversion signal corresponding to the amount of received light.
  • the photoelectric conversion signal output by each photosensitive cell is sent to the signal processing unit 200 through the signal generation / reception unit 5.
  • the image signal generation unit 7 in the signal processing unit 200 generates a multi-viewpoint image based on the signal transmitted from the imaging unit 100.
  • the combined spectral transmittance of the lens 3 and the infrared cut filter 4 is Tw
  • the spectral transmittance of the region C1 is Tc1
  • the spectral transmittance of the region C2 is Tc2.
  • the spectral transmittances of the transmission filters D1 and D2 in the imaging device 1 are represented as Td1 and Td2, respectively.
  • Tw, Tc1, Tc2, Td1, and Td2 are functions that depend on the wavelength ⁇ of the incident light, Tw ( ⁇ ), Tc1 ( ⁇ ), Tc2 ( ⁇ ), Td1 ( ⁇ ), and Td2 respectively.
  • ⁇ Signals indicating the intensity of light transmitted through the transmission filters D1 and D2 and received by the opposing photosensitive cells are denoted by d1 and d2, respectively.
  • d1 and d2 Signals indicating the intensity of light transmitted through the transmission filters D1 and D2 and received by the opposing photosensitive cells.
  • ⁇ Tw ( ⁇ ) Tc1 ( ⁇ ) Td1 ( ⁇ ) d ⁇ for the wavelength ⁇ is represented as ⁇ TwTc1Td1.
  • d1 Ci1 ⁇ TwTc1Td1 + Ci2 ⁇ TwTc2Td1
  • d2 Ci1 ⁇ TwTc1Td2 + Ci2 ⁇ TwTc2Td2
  • Equations 1 and 2 ⁇ TwTc1Td1, ⁇ TwTc2Td1, ⁇ TwTc1Td2, and ⁇ TwTc2Td2 are represented as Mx11, Mx12, Mx21, and Mx22, respectively.
  • Formula 1 can be expressed by Formula 3 below using a matrix.
  • Expression 3 can be transformed into the following Expression 4. That is, the signals Ci1 and Ci2 indicating the intensity of light incident on the regions C1 and C2 can be expressed using the photoelectric conversion signals d1 and d2.
  • the signals d1 and d2 (observation pixel values) indicating the incident light amount of each pixel can be converted into light intensity signals Ci1 and Ci2 respectively incident on the transmission regions C1 and C2.
  • the image signal generation unit 7 shown in FIG. 1 performs signal calculation based on Expression 4 to generate signals Ci1 and Ci2 for each unit element.
  • Signals Ci1 and Ci2 generated for each unit element represent two images formed by light incident on each of the transmission regions C1 and C2. These two images have parallax due to the difference in position between the transmission regions C1 and C2. Thus, a multi-viewpoint image can be generated by the calculation based on Expression 4.
  • the transmission regions C1 and C2 transmit only light of a specific wavelength as in the past (when a primary color filter is arranged in C1 and C2, etc.), they are included in at least one of the transmission wavelength regions of the regions C1 and C2.
  • the transmission regions C1 and C2 and the transmission filters D1 and D2 are configured so that Ci1 and Ci2 obtained by Expression 4 satisfy Ci1> 0 and Ci2> 0. This makes it possible to acquire parallax (right and left light intensity signals) even if the light incident from the subject is monochromatic light.
  • ⁇ Condition 1> Conditions for observation pixel values d1 and d2
  • the transmittances of the transmission regions C1 and C2 of the light-transmitting plate 2 and the transmittances of the transmission filters D1 and D2 of the image sensor 1 are
  • the light having an arbitrary wavelength included in the visible light wavelength range has a value larger than zero.
  • the observed pixel value is always a positive value except when light having a light amount of 0 in the entire visible light wavelength range is incident. Therefore, the observation pixel values d1 and d2 become 0 only when the subject color is black or the scene is dark.
  • the observed pixel values need to be d1> 0 and d2> 0.
  • Equation 8 The matrix on the right side of Equation 8 is a real symmetric matrix.
  • This real symmetric matrix is expressed as Mat as shown in the following Expression 9.
  • the matrix Mat may be a positive symmetric matrix.
  • the quadratic form x T (Mat) x corresponding to the real symmetric matrix Mat is positive (that is, when x T (Mat) x> 0 with respect to an arbitrary real vector x)
  • the symmetric matrix Mat Is called a positive symmetric matrix. Therefore, by indicating a condition in which the secondary form of the matrix Mat is positive, a condition in which Ci1 and Ci2 are positive can be derived for any d1 and d2.
  • Equation 10 is obtained from the above conditions.
  • Mx12, Mx22, Mx21, and Mx11 are integral values of spectral transmittances that are positive values, they are always positive. Therefore, a condition that satisfies det ⁇ 1 ⁇ 0, that is, det ⁇ 0 may be obtained.
  • det Mx11Mx22-Mx12Mx21
  • det ⁇ 0 is when the condition of the following Expression 13 is satisfied.
  • Equation 13 Matrix can be converted to That is, if det ⁇ 0, a filter having an arbitrary spectral transmittance can be converted to a positive value by exchanging rows of the determinant.
  • Equation 14 is obtained.
  • Tw ( ⁇ ) is the spectral transmittance obtained by combining the lens 3 and the infrared cut filter 4, it can be considered that it is constant in the wavelength range of visible light regardless of the wavelength ⁇ . Therefore, Expression 14 can be transformed into the following Expression 15.
  • the transmission filters C1, C2, C3, and C4 in the present embodiment are designed to satisfy Expression 15. Thereby, the image signals Ci1 and Ci2 can be obtained by the calculation based on Expression 4.
  • TTc1 ( ⁇ ) Td1 ( ⁇ ) d ⁇ , ⁇ Tc1 ( ⁇ ) Td2 ( ⁇ ) d ⁇ , ⁇ Tc2 ( ⁇ ) Td1 ( ⁇ are obtained by removing Tw instead of the matrix in Equation 3.
  • the above arithmetic processing may be performed using a matrix having d ⁇ and ⁇ Tc2 ( ⁇ ) Td2 ( ⁇ ) d ⁇ as elements. In this case, Tw is merely a constant, so the above conclusion remains unchanged.
  • FIG. 5 is a diagram illustrating an example of the spectral transmittance of the transmission regions C ⁇ b> 1 and C ⁇ b> 2 in the translucent plate 2.
  • the spectral transmittance Tc1 of the region C1 is represented by a waveform like a rectangular wave that is 100% in the visible light wavelength range (about 400 nm to about 700 nm)
  • the spectral transmittance Tc2 of the region C2 is It is represented by a waveform like a cos curve in the wavelength range.
  • FIG. 1 is represented by a waveform like a rectangular wave that is 100% in the visible light wavelength range (about 400 nm to about 700 nm)
  • the spectral transmittance Tc2 of the region C2 is It is represented by a waveform like a cos curve in the wavelength range.
  • FIG. 6 is a diagram illustrating an example of the spectral transmittance of the transmission filters D1 and D2 of the imaging device 1.
  • the spectral transmittance Td1 of the transmission filter D1 is represented by a waveform like a rectangular wave
  • the spectral transmittance Td2 of the transmission filter D2 is represented by a waveform like a sin curve.
  • ⁇ Tc1Td1> 0, ⁇ Tc1Td2> 0, ⁇ Tc2Td1> 0, and ⁇ Tc2Td2> 0 are established.
  • Tc1 and Td1 have a transmittance of 100% at any wavelength, there is no light attenuation.
  • the light transmitting plate 2 and the imaging device 1 include a transmission region (transmission filter) in which the transmittance is 100%, the light utilization rate is the highest, so such a spectral transmittance is employed. It is desirable to design other spectral transmittances based on this.
  • Tc1 and Td1 are set to 100% in the entire visible light wavelength range, but it is not necessarily strictly 100%. For example, a transmittance of 90% or more is sufficiently high. Characteristics can be obtained.
  • Each filter is not limited to the examples shown in FIGS. 5 and 6, and transmits at least a part of light having an arbitrary wavelength included in the wavelength range of visible light.
  • Tc1 and Tc2 are different from each other, and Td1 and Td2 are It suffices if they are designed to be different from each other.
  • the present invention can be applied even when Tc1, Tc2, Td1, and Td2 are represented by waveforms other than rectangular waves or trigonometric functions.
  • the transmission filter having the desired spectral characteristics is produced by a dielectric multilayer film, for example.
  • a dielectric multilayer film By using a dielectric multilayer film, a multiband pass filter having transmittance peaks at wavelengths of 450 nm, 550 nm, and 650 nm, for example, can be configured.
  • R, G, and B filters having high transmittance it is possible to configure a transmission filter having high transmittance, although wavelength dependency differs from that of transparent.
  • the translucent plate 2 has the two transmission regions C1 and C2, and the transmission filters are arranged in the regions C1 and C2.
  • the regions C1 and C2 both transmit light of an arbitrary wavelength included in the visible light wavelength range, but their transmittances have different wavelength dependencies.
  • the photosensitive cell array and the transmission filter array of the imaging device 1 are configured by a plurality of unit elements, and each unit element includes two pixels and two transmission filters D1 and D2 arranged to face them. Yes.
  • the transmission filters D1 and D2 also transmit light having an arbitrary wavelength included in the visible light wavelength range, but their transmittances have different wavelength dependencies.
  • the transmittances of the transmission regions C1 and C2 and the transmission filters D1 and D2 satisfy the determinant det ⁇ 0 so that the image signal generation unit 7 can calculate the image signals Ci1 and Ci2 by the calculation based on the equation 4. Designed to be With such a configuration, it is possible to generate a multi-viewpoint image even if the incident light is monochromatic light.
  • the imaging apparatus generates an image signal by signal calculation from a photoelectric conversion signal obtained by imaging.
  • an image signal generation process by signal calculation is executed by another apparatus independent of the imaging apparatus.
  • the signal acquired by the imaging apparatus having the imaging unit 100 according to the present embodiment is read by another apparatus, and the program for defining the signal calculation process is executed by the other apparatus as in the present embodiment. The effect of can be obtained.
  • the translucent plate 2 includes two transmission filters having different wavelength dependences of transmittance, and each unit element of the imaging element 1 similarly has two different wavelength dependences of transmittance. It has two transmission filters.
  • Each unit element of the light transmitting plate 2 and the image sensor 1 may have three or more transmission filters, or the number thereof may be different.
  • the configuration of the first embodiment is generalized, and m (m is an integer of 2 or more) transmission filters are arranged on the light-transmitting plate 2, and n (n is an integer of m or more) in each unit element of the image sensor 1. ) Will be described.
  • the imaging apparatus of the present embodiment is the same as that of the first embodiment except for the configuration of the light transmitting plate 2 and the imaging element 1 and the processing in the image signal generation unit 7. In the following description, differences from the first embodiment will be mainly described, and description of overlapping items will be omitted.
  • FIG. 9 is a diagram schematically illustrating a configuration example of the light-transmitting plate 2 in the present embodiment.
  • the translucent plate 2 in the present embodiment has m transmission regions C1, C2,..., Cm, and a transmission filter is disposed in each transmission region.
  • the m transmission regions C1 to Cm are all designed to transmit light having an arbitrary wavelength included in the visible light wavelength range, and the wavelength dependency of the transmittance is different from each other.
  • the area other than the area where the m transmission filters are arranged in the light transmitting plate 2 is a light shielding area that does not transmit light.
  • each transmissive region is circular and is drawn so as to have the same area, but the shape and size of each transmissive region are not limited to this example.
  • the arrangement of the transmissive regions is not limited to the illustrated example, and may be any arrangement.
  • the shape of the translucent plate 2 need not be circular.
  • the light shielding area is provided in the present embodiment, a part of the light shielding area may be formed of a translucent member, and the area may be handled as the transmission area.
  • FIG. 10 is a diagram schematically illustrating an arrangement example of n transmission filters included in each unit element 40 of the image sensor 1 in the present embodiment.
  • Each unit element 40 of the image sensor 1 has n photosensitive cells and n transmission filters facing them.
  • Each of the n transmission filters D1, D2,..., Dn is designed to transmit light having an arbitrary wavelength included in the wavelength range of visible light, and the wavelength dependency of the transmittance differs from each other. ing.
  • the array shown in FIG. 10 is merely an example, and the pixel array in the unit element 40 may be another array.
  • the pixel signals output from the transmission filters D1, D2,..., Dn of the image sensor 1 are denoted by d1, d2,. Further, assuming that the transmittance of the transmission regions C1 to Cm and the transmission filters D1 to Dn is 100%, the intensity of light incident on each photosensitive cell from the transmission regions C1, C2,.
  • the signals shown are Ci1, Ci2,..., Cim, respectively. Then, the relationship between the pixel signals d1, d2,..., Dn and the image signals Ci1, Ci2,.
  • each transmission region of the light-transmitting plate 2 and each transmission filter of the imaging device 1 are configured to transmit light having an arbitrary wavelength included in the visible light wavelength range. Based on d1 to dn, it is possible to calculate image signals Ci1 to Cin by light incident on the respective transmission regions of the light transmitting plate 2.
  • the rank is m, so it can be determined whether or not a solution can be calculated based on the value of the determinant.
  • the rank is m, so it can be determined whether or not a solution can be calculated based on the value of the determinant.
  • n For m, since the eigenvalues of the matrix in equation 16 (referred to as A) and A transposed matrix and (A t) is equal, after the square matrix multiplied by A and A t, The rank can be calculated by performing eigenvalue analysis.
  • each transmission filter in the present embodiment has ⁇ Tc1 ( ⁇ ) Td1 ( ⁇ ) d ⁇ > 0, ⁇ Tc1 ( ⁇ ) Td2 ( ⁇ ) d ⁇ > 0, ⁇ Tc2 ( ⁇ ) Td1 ( ⁇ ) d ⁇ > 0, ⁇ Tc2 It is designed to satisfy ( ⁇ ) Td2 ( ⁇ ) d ⁇ > 0. Further, each transmission filter is designed to satisfy the following Expression 17.
  • the integration interval is the wavelength range of the entire visible light.
  • the imaging apparatus of the present embodiment may be configured to generate at least two of these signals without generating all of the signals Ci1 to Cim. Even with such a configuration, at least two pieces of image data having parallax can be obtained.
  • n pixel signals may be used, but m multiple viewpoint images may be generated by selecting and using m pixel signals such that the rank of the matrix is m.
  • At least one of the m transmission regions and at least one of the n transmission filters may be a filter having no wavelength dependency.
  • these are preferably transparent.
  • Ci1 det ⁇ 1 [Mx22 (d1 + ⁇ d1) ⁇ Mx12 (d2 + ⁇ d2)]
  • Ci2 det ⁇ 1 [Mx21 (d1 + ⁇ d1) ⁇ Mx11 (d2 + ⁇ d2)]
  • Equation 20 represents the error and should be zero if there is no noise.
  • the error is inversely proportional to the determinant. That is, the smaller the absolute value of the determinant, the greater the effect of the error, and the larger the absolute value of the determinant, the smaller the effect of the error. From the above, it is difficult to measure the amount of noise, but by designing the spectral transmittance of each transmission filter so that
  • Tc1, Tc2, Td1, and Td2 In an imaging apparatus that is assumed to be frequently used under such conditions, it is only necessary to set Tc1, Tc2, Td1, and Td2 so that the absolute value of the determinant is 0.1 or more. On the other hand, in an imaging apparatus that is assumed to be used in an environment where noise is further increased, it is preferable to set Tc1, Tc2, Td1, and Td2 so that the absolute value of the determinant is further increased.
  • the spectral transmittance of each transmission filter is set so that the absolute value of the determinant is equal to or greater than a predetermined threshold. It is preferable. For this reason, a plurality of types of light-transmitting plates having different transmission characteristics may be provided in the imaging device so that an optimal set of spectral transmittances can be selected.
  • the absolute value of the determinant is always made larger than a predetermined threshold by configuring so that one of a plurality of translucent plates can be automatically or manually selected according to the amount of noise assumed from the shooting environment. Is possible.
  • the three-dimensional imaging device of the present invention is effective for all cameras using a solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and industrial solid-state surveillance cameras.
  • Solid-state image sensor 1a Image pickup surface of solid-state image sensor 2 Translucent plate 3 Optical lens 3a Optical element in which functions of translucent plate and optical lens are integrated 4 Infrared cut filter 5 Signal generation / reception unit 6 Element drive unit 7 Image signal generation unit 8 Interface unit 19 Lens diaphragm 20, 22, 23 Light flux limiting plate 20a Color filter that transmits red light 20b Color filter that transmits blue light 21 Photosensitive film 22R, 23R R light of light limiting plate Transmission region 22G, 23G G light transmission region of light beam limiting plate 22B, 23B B light transmission region of light beam limiting plate 30 Memory 40 Unit element 100 Imaging unit 110 Transmission filter 120 Photosensitive cell 200 Signal processing unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　３次元撮像装置は、透過率の波長依存性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部２と、固体撮像素子１と、固体撮像素子１の撮像面１ａに像を形成する結像部３とを備える。固体撮像素子１は、複数の単位要素から構成され、各単位要素はｎ個（ｎはｍ以上の整数）の光感知セル、およびそれらの光感知セルに対向するｎ個の透過フィルタを含んでいる。ｎ個の透過フィルタの透過率の波長依存性は互いに異なっている。波長をλとし、透過領域Ｃ１、Ｃ２の透過率をそれぞれＴｃ１（λ）、Ｔｃ２（λ）、２つの透過フィルタの透過率をＴｄ１（λ）、Ｔｄ２（λ）とし、積分区間を可視光全体の波長域とするとき、∫Tc1(λ)Td1(λ)dλ>0、 ∫Tc1(λ)Td2(λ)dλ>0、 ∫Tc2(λ)Td1(λ)dλ>0、 ∫Tc2(λ)Td2(λ)dλ>0、および ∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλを満足する。

Description

撮像装置
　本発明は視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
　３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献１に開示されている。図１１は、この方式による撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
　以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルム２１に結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム２１上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色成分の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム２１上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。
　特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１２は、この技術における光束制限板２２を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を、赤色光を検知するＲ画素、緑色光を検知するＧ画素、青色光を検知するＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
　また、特許文献３にも、図１２の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１３は、特許文献３に開示された光束制限板２３を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差を有する複数の画像を作ることができる。
　特許文献４も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量を算出することができる。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。
　特許文献５は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。
　上記の特許文献１～５に開示された技術によれば、光束制限板または絞りにＲＧＢ系統の色フィルタを配置することによって視差を有する複数の画像を生成することができる。しかしながら、ＲＧＢ系統の色フィルタを用いるため、入射光量が大きく減少する。また、視差量を大きくするためには複数の色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要がある。しかしながら、色フィルタの面積を小さくすると入射光量はさらに減少する。
　以上の従来技術に対して、ＲＧＢの複数の色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献６に開示されている。この技術によれば、撮像素子は、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけを受け、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外れるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では複数視点画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。
特開平２－１７１７３７号公報 特開２００２－３４４９９９号公報 特開２００９－２７６２９４号公報 特開２０１０－３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３－１３４５３３号公報
　特許文献１～５に開示された技術によれば、複数視点画像を取得することができるが、原色（ＲＧＢ系統）の色フィルタが用いられるため、撮像素子の受光量は大きく減少する。一方、特許文献６に開示された技術によれば、機械的駆動によって色フィルタを光路から外す機構を用いて光利用率の高い通常画像を取得できる。しかしながら、この技術においても複数視点画像を取得するためには原色の色フィルタが用いられるため、光利用率の高い複数視点画像を得ることはできない。また、この技術には装置の大型化および高コスト化を招くという課題もある。
　従来技術では、撮像素子の各画素に入射した光の量に応じて生成される光電変換信号（画素信号）をそのまま用いて複数視点画像が生成され、それらの画像間の対応点マッチングなどを行うことによって距離情報が算出される。このため、原色型の色フィルタ配列を有する一般的な撮像素子を用いる場合、光束制限板または絞りにも原色型の色フィルタを設ける必要がある。光束制限板または絞りの色フィルタが原色型である場合、各色フィルタは自身の透過波長域に含まれる波長の光しか透過させないため、有彩色の被写体を撮影した際には、左右のフィルタを透過する光の量に差異が生じる。例えば、赤の波長域の光を主に反射させる物体を撮影した場合、物体から入射する光は赤フィルタを透過するが青フィルタを殆ど透過しないため、撮像素子におけるＲ画素の画素信号はＢ画素の画素信号よりも大きくなる。すなわち、Ｒ画素の画素信号から生成される画像とＢ画素の画素信号から生成される画像とでは、３次元空間中で同一の点を表す対応点同士であっても画素信号（濃淡）が大きく異なることとなる。その結果、これらの２枚の画像は、見た目の違和感が大きく、また、被写体の色が異なれば対応点における濃淡が異なるため、マッチングによる距離推定も難しくなる。このように、複数の原色フィルタが配置された絞りまたは光束制限板を用いる従来の技術では、単色光に近い光が入射した場合、視差情報を取得できないため、適用範囲が限られるという課題がある。
　本発明は、機械的駆動を行うことなく、被写体から入射する光が単色光であったとしても複数視点画像を取得することが可能であり、光利用率の高い複数視点画像を取得し得る撮像技術を提供する。
　本発明の３次元撮像装置は、透過率の波長依存性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、光感知セルアレイおよび前記光感知セルアレイに対向して配置された透過フィルタアレイを有し、前記光感知セルアレイおよび前記透過フィルタアレイは、複数の単位要素から構成され、各単位要素は、ｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるｎ個の透過フィルタを含む、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部とを備えている。波長をλとし、前記ｍ個の透過領域のうちの任意の２つの透過領域の透過率を示す関数をＴｃ１（λ）およびＴｃ２（λ）、前記ｎ個の透過フィルタのうちの任意の２つの透過フィルタの透過率を示す関数をＴｄ１（λ）およびＴｄ２（λ）とし、積分区間を可視光全体の波長域とするとき、
　∫Tc1(λ)Td1(λ)dλ>0、
　∫Tc1(λ)Td2(λ)dλ>0、
　∫Tc2(λ)Td1(λ)dλ>0、
　∫Tc2(λ)Td2(λ)dλ>0、および
　∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλが成立する。
　ある実施形態において、前記ｎ個の光感知セルのうち少なくともｍ個の光感知セルから出力される光電変換信号を用いて前記ｍ個の透過領域に入射した光によるｍ個の複数視点画像を生成する画像生成部をさらに備えている。
　ある実施形態において、前記画像生成部は、各透過領域の透過率および各透過フィルタの透過率に基づいて決定されるｎ行ｍ列の行列を用いた演算により、前記ｍ個の複数視点画像を生成する。
　ある実施形態において、ｍ＝２、ｎ＝２であり、前記画像生成部は、∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、および∫Tc2(λ)Td2(λ)dλを前記行列の要素とする２行２列の行列を用いて前記複数視点画像を生成する。
　ある実施形態において、前記ｍ個の透過領域の少なくとも１つにおける透過率、および前記ｎ個の透過フィルタの少なくとも１つにおける透過率は、可視光の波長域において波長依存性を有しないように設計されている。
　ある実施形態において、前記ｍ個の透過領域の少なくとも１つ、および前記ｎ個の透過フィルタの少なくとも１つは、透明である。
　本発明によれば、機械的駆動を行うことなく、被写体から入射する光が単色光であったとしても複数視点画像を取得することが可能になる。さらに、本発明の好ましい実施形態によれば、従来よりも光利用率の高い複数視点画像を取得することが可能になる。
実施形態１における全体構成を示すブロック図 実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図 実施形態１における透光板の透過領域の配置を示す図 実施形態１における撮像素子の透過フィルタの基本構成を示す図 透光板における透過フィルタの分光透過率の例を示す図 撮像素子における透過フィルタの分光透過率の例を示す図 透光板における透過フィルタの分光透過率の他の例を示す図 撮像素子における透過フィルタの分光透過率の他の例を示す図 ｍ個の透過領域を有する透光板の一例を示す図 撮像素子の各単位要素におけるｎ個の色フィルタの配置の一例を示す図 特許文献１における撮像系の構成図 特許文献２における光束制限板の外観図 特許文献３における光束制限板の外観図
　以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
　（実施形態１）
　図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００から出力される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
　撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える撮像素子（イメージセンサ）１と、透過率の波長依存性（分光透過率）が互いに異なる２つの透過領域を有する透光板（光透過部）２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
　信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
　次に、図２～４を参照しながら撮像部１００の構成をより詳細に説明する。
　図２は、撮像部１００における透光板２、光学レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、光学レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、分光透過率が互いに異なる２つの透過領域Ｃ１、Ｃ２を有し、入射光を透過させる。光学レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。透光板２において透過領域Ｃ１、Ｃ２以外の領域は、遮光性部材で形成されており、光が透光板２の透過領域Ｃ１、Ｃ２以外は通過しないように構成されている。以下の説明において、図２に示すように、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、撮像面１ａに平行な平面上でｘ方向に垂直な方向をｙ方向とする座標を用いる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３と透光板２とが一体となって構成されていてもよい。
　図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３の形状と同様、円形であるが、他の形状であってもよい。領域Ｃ１およびＣ２には、可視光Ｗの波長域に含まれる任意の波長の光についてその少なくとも一部を透過させる透過フィルタが配置される。いずれの透過フィルタも可視光の波長域に含まれる任意の波長の光を透過させるが、それらの分光透過率が異なるため、同じ光が領域Ｃ１を通過した場合と領域Ｃ２を通過した場合とで透過光の明るさ（輝度）は互いに異なる。各透過領域の分光透過率についての詳細は後述する。なお、各透過フィルタは、所望の透過率で光を透過させる機能を有していれば、どのような部材で構成されていてもよい。各透過フィルタは、例えば、ガラス、プラスチック、セロファンなどで構成され得る。なお、本実施形態では、透過領域Ｃ１、Ｃ２には互いに分光透過率の異なる透過フィルタが配置されるが、各領域は、所望の分光透過率を有する部材であれば何で構成されていてもよい。例えば、一方の透過領域を透明にする場合、その領域は空気で代用してもよい。ここで、「透明」とは、可視光の波長域において透過率の波長依存性がなく、光の吸収や散乱が生じない状態を意味するものとする。
　領域Ｃ１および領域Ｃ２は、ｘ方向に一定の距離Ｌを隔てて配置される。距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ～数ｃｍに設定され得る。透過領域Ｃ１、Ｃ２は、図３に示すように、光軸に対して左右（ｘ方向）に対称的に配置され、同一面積を有していることが好ましい。この構成により、左右の各領域Ｃ１、Ｃ２に入射する光の量がほぼ等しくなる。なお、透過領域Ｃ１、Ｃ２の配置は、図３に示す配置に限らず、用途に応じて適宜決定され得る。例えば、上下（ｙ方向）の視差情報を取得したい場合には、透過領域Ｃ１、Ｃ２をｙ方向に並べてもよい。また、透過領域Ｃ１、Ｃ２の透過率の差が大きい場合には、観測される画素値の差が大きくなるため、取得される２つの画像の明るさに差異が生じる。そのため、透過領域Ｃ１、Ｃ２の透過率の差が大きい場合、取得される２つの画像の明るさが近くなるように、領域Ｃ１、Ｃ２の面積を調整してもよい。
　図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された透過フィルタアレイが形成されている。光感知セルアレイおよび透過フィルタアレイは、複数の単位要素から構成されている。本実施形態では、各単位要素は２つの光感知セルおよびそれらに対向する２つの透過フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードを含んでおり、光電変換によって各々の受光量に応じた電気信号（「光電変換信号」または「画素信号」と呼ぶ。）を出力する。各透過フィルタは、公知の顔料や誘電体多層膜などを用いて作製され、可視光の波長域に含まれる任意の波長の光について、少なくとも一部を透過させるように設計されている。
　図４は、本実施形態における透過フィルタアレイの一部を模式的に示す上面図である。図示されるように、撮像面１ａ上には多数の透過フィルタ１１０が行列状に配列されている。上述のように、近接する２つの透過フィルタ１１０およびそれらに対向する２つの光感知セル１２０が１つの単位要素に含まれる。各単位要素が有する２つの透過フィルタＤ１、Ｄ２は、いずれも可視光の波長域に含まれる任意の波長の光を透過させるが、透過率の波長依存性が互いに異なる。これらの透過フィルタＤ１、Ｄ２の透過率の設定については、透光板２の透過領域Ｃ１、Ｃ２の透過率とあわせて後述する。
　なお、図４に示す例では、２つの光感知セルを横（ｘ方向）に並べているが、光感知セル１２０の配列は他のどのような配列でもよい。例えば、縦（ｙ方向）に並んでいてもよいし、斜めに並んでいてもよい。また、１つの単位要素に含まれる光感知セル１２０の数は２個に限らず、３個以上でもよい。さらに、光感知セル１２０および透過フィルタ１１０は、ｘ方向およびｙ方向に沿って配列されている必要はなく、ｘ方向およびｙ方向に対して斜めに配列されていてもよい。
　以上の構成により、露光中に撮像装置に入射した光は、透光板２、レンズ３、赤外カットフィルタ４、透過フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２の各々を透過した光のうち、対向する透過フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。
　各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて複数視点画像を生成する。
　以下、各光感知セルから出力される光電変換信号を説明する。透過領域Ｃ１、Ｃ２および透過フィルタＤ１、Ｄ２の透過率がどの波長についても１００％であると仮定した場合に、領域Ｃ１を通って着目する１つの画素に入射する光の強度を示す信号をＣｉ１、領域Ｃ２を通って着目する１つの画素に入射する光の強度を示す信号をＣｉ２で表すこととする。また、前提として、１つの単位要素に含まれる各光感知セルには同一の強度の光が入射するものとし、入射する光はすべて可視光であると仮定する。説明を簡単にするため、領域Ｃ１、Ｃ２に入射する光の強度の波長依存性を無視する。すなわち、被写体は無彩色であると仮定する。また、レンズ３および赤外カットフィルタ４を合わせた分光透過率をＴｗ、領域Ｃ１の分光透過率をＴｃ１、領域Ｃ２の分光透過率をＴｃ２とする。同様に、撮像素子１における透過フィルタD１、D２の分光透過率をそれぞれＴｄ１、Ｔｄ２と表す。
　ここで、Ｔｗ、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２は、入射する光の波長λに依存する関数であるため、それぞれＴｗ（λ）、Ｔｃ１（λ）、Ｔｃ２（λ）、Ｔｄ１（λ）、Ｔｄ２（λ）と表す。透過フィルタＤ１、Ｄ２を透過してその対向する光感知セルで受光される光の強度を示す信号をそれぞれｄ１、ｄ２と表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫Ｔｗ（λ）Ｔｃ１（λ）Ｔｄ１（λ）ｄλなどを、ΣＴｗＴｃ１Ｔｄ１などと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、ｄ１は、Ｃｉ１ΣＴｗＴｃ１Ｔｄ１、Ｃｉ２ΣＴｗＴｃ２Ｔｄ２を合算した結果に比例する。同様に、ｄ２は、Ｃｉ１ΣＴｗＴｃ１Ｔｄ２、Ｃｉ２ΣＴｗＴｃ２Ｔｄ２を合算した結果に比例する。これらの関係における比例係数を１とすれば、ｄ１、ｄ２は、それぞれ以下の式１、２で表すことができる。
　（式１）ｄ１＝Ｃｉ１ΣＴｗＴｃ１Ｔｄ１＋Ｃｉ２ΣＴｗＴｃ２Ｔｄ１
　（式２）ｄ２＝Ｃｉ１ΣＴｗＴｃ１Ｔｄ２＋Ｃｉ２ΣＴｗＴｃ２Ｔｄ２
　式１、２において、ΣＴｗＴｃ１Ｔｄ１、ΣＴｗＴｃ２Ｔｄ１、ΣＴｗＴｃ１Ｔｄ２、ΣＴｗＴｃ２Ｔｄ２を、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ２１、Ｍｘ２２と表すこととする。すると、式１は、行列を用いて以下の式３で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、式３における要素Ｍｘ１１～Ｍｘ２２からなる行列の逆行列の要素を、ｉＭ１１～ｉＭ２２とすると、式３は次の式４に変形できる。すなわち、領域Ｃ１、Ｃ２に入射する光の強度を示す信号Ｃｉ１、Ｃｉ２を、光電変換信号ｄ１、ｄ２を用いて表すことができる。
Figure JPOXMLDOC01-appb-M000002
　以上の構成により、各画素の入射光量を示す信号ｄ１、ｄ２（観測画素値）を、透過領域Ｃ１、Ｃ２にそれぞれ入射する光の強度信号Ｃｉ１、Ｃｉ２に変換することができる。
　図１に示す画像信号生成部７は、式４に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２を、単位要素ごとに生成する。単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２は、透過領域Ｃ１、Ｃ２のそれぞれに入射する光によって形成される２つの画像を表す。これらの２つの画像は、透過領域Ｃ１、Ｃ２の位置の違いに起因する視差を有する。このように、式４に基づく演算によって複数視点画像を生成することができる。
　従来のように透過領域Ｃ１、Ｃ２が特定の波長の光しか透過させない場合（Ｃ１、Ｃ２に原色の色フィルタが配置された場合など）、領域Ｃ１、Ｃ２の少なくとも一方の透過波長域に含まれない波長の単色光が被写体から入射すると、ｄ１、ｄ２の少なくとも一方が０になるため、Ｃｉ１、Ｃｉ２が求められない。そこで、本実施形態では、式４により求められるＣｉ１およびＣｉ２が、Ｃｉ１＞０かつＣｉ２＞０を満足するように透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２を構成する。これにより、被写体から入射する光が単色光であったとしても視差（左右の光の強度信号）の取得が可能となる。
　以下、本実施形態の撮像装置が対象とするシーン、被写体の条件、および透過領域Ｃ１、Ｃ２、透過フィルタＤ１、Ｄ２の分光透過率が満たすべき条件を説明する。
　＜条件１＞：観測画素値ｄ１、ｄ２の条件
　本実施形態では、上述のように透光板２の透過領域Ｃ１、Ｃ２の透過率、および撮像素子１の透過フィルタＤ１、Ｄ２の透過率は、可視光の波長域に含まれる任意の波長の光について０より大きい値を有する。これにより、可視光の全波長域で光量が０となる光が入射する場合を除いて、観測画素値が常に正の値になる。したがって、観測画素値ｄ１、ｄ２のいずれかが０になるのは、被写体の色が黒、あるいはシーンが暗い場合に限られる。
　観測画素値がｄ１＝ｄ２＝０（被写体または撮影シーンが真っ黒）の場合、式４により、Ｃｉ１＝Ｃｉ２＝０となるため、複数視点画像が得られない。また、ｄ１＝０かつｄ２≠０の場合、式４より、Ｃｉ１＝ｄ２ｉＭｘ１２、Ｃｉ２＝ｄ２ｉＭｘ２２となり、Ｃｉ１＞０かつＣｉ２＞０となる。しかし、Ｃｉ１はＣｉ２の定数倍となるため、明るさの違いはあるが視差情報が得られない。ｄ１≠０かつｄ２＝０の場合も同様である。
　以上のことから、本実施形態の撮像装置が対象とするシーンでは、観測画素値はｄ１＞０かつｄ２＞０であることが必要である。
　＜条件２＞：観測画素値から複数視点画像信号に変換する変換行列の条件
　次に、透光板２の透過領域Ｃ１、Ｃ２、および撮像素子１の透過フィルタＤ１、Ｄ２の分光透過率によって規定される変換行列（Ｍｘ１１、Ｍｘ１２、Ｍｘ２１、Ｍｘ２２）を用いて観測画素値ｄ１、ｄ２から複数視点画像信号Ｃｉ１、Ｃｉ２が求められる条件を説明する。複数視点画像信号Ｃｉ１、Ｃｉ２が求められる基本的な条件として、式３から式４に変換可能であることが必要である。式４を式３の変数で表現すると、次の式５が得ら
れる。
Figure JPOXMLDOC01-appb-M000003
　式５が成立するためには、行列式が０以外の値でなければならない。すなわち、以下の式６を満足する必要がある。
　（式６）　det ＝ Mx11Mx22―Mx12Mx21
　　　　　　　　＝ΣTwTc1Td1ΣTwTc2Td2―ΣTwTc2Td1ΣTwTc1Td2
　　　　　　　　≠0
　＜条件３＞：入射光強度信号Ｃｉ１、Ｃｉ２が取りうる範囲に関する条件
　信号Ｃｉ１、Ｃｉ２は、光の強度を示す信号であるため、Ｃｉ１＞０かつＣｉ２＞０を満たさなければならない。式３において任意のｄ１、ｄ２について、Ｃｉ１＞０かつＣｉ２＞０となる条件を求めるため、次の式変形を行う。まず、式５の両辺に、式５の右辺の２ｘ２行列の転置行列を左から掛けることにより、次の式７が得られる。
Figure JPOXMLDOC01-appb-M000004
　式７の右辺を変形すると、式８が得られる。
Figure JPOXMLDOC01-appb-M000005
　式８の右辺の行列は実対称行列である。この実対称行列を次の式９に示すようにＭａｔと表す。
Figure JPOXMLDOC01-appb-M000006
　ここで、式８の両辺が正になるためには、行列Ｍａｔが正値対称行列であればよい。ここで、実対称行列Ｍａｔに対応する二次形式ｘT（Ｍａｔ）ｘが正であるとき（すなわち任意の実数ベクトルｘに対してｘT（Ｍａｔ）ｘ＞０のとき）、その対称行列Ｍａｔを正値対称行列と呼ぶ。したがって、行列Ｍａｔの二次形式が正となる条件を示すことにより、任意のｄ１、ｄ２に対して、Ｃｉ１、Ｃｉ２が正となる条件を導くことができる。
　式９の対称行列Ｍａｔを二次形式で表すと、上記条件から、次の式１０が得られる。
Figure JPOXMLDOC01-appb-M000007
　式１０を展開すると次の式１１が得られる。
Figure JPOXMLDOC01-appb-M000008
　任意のｄ１、ｄ２において、式１１が成り立つには、次の式１２が成立すればよい。
　（式１２）　ｄｅｔ-1（Ｍｘ１２Ｍｘ２２＋Ｍｘ２１Ｍｘ１１）＜０
　Ｍｘ１２、Ｍｘ２２、Ｍｘ２１、Ｍｘ１１は正値である分光透過率の積分値なので、常に正である。したがって、ｄｅｔ-1＜０、すなわち、ｄｅｔ＜０となる条件を求めればよい。ここで、ｄｅｔ＝Ｍｘ１１Ｍｘ２２―Ｍｘ１２Ｍｘ２１であるので、ｄｅｔ＜０となるのは、次の式１３の条件を満たすときである。
　（式１３）　Ｍｘ１１Ｍｘ２２＜Ｍｘ１２Ｍｘ２１
　ここで、各透過フィルタの分光透過率を設定し、Ｍｘ１１～Ｍｘ２２が決まった後、Ｍｘ１１Ｍｘ２２＜Ｍｘ１２Ｍｘ２１を満たさない場合（Ｍｘ１１Ｍｘ２２＞Ｍｘ１２Ｍｘ２１の場合）には、行を入れ替えることにより、式１３を満たすように行列を変換できる。すなわち、ｄｅｔ≠０であれば、任意の分光透過率のフィルタについて、行列式の行の入れ替えにより正の値に変換できる。
　以上のことから、信号Ｃｉ１、Ｃｉ２が、Ｃｉ１＞０かつＣｉ２＞０を満たすためには、ｄｅｔ≠０であればよい。これは、式６の条件と同じである。したがって、本実施形態における透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の分光透過率は、ｄｅｔ≠０を満足する値に設計される。
　ここで、式６を積分記号を用いて変形すると、以下の式１４が得られる。
Figure JPOXMLDOC01-appb-M000009
　Ｔｗ（λ）は、レンズ３および赤外カットフィルタ４を合わせた分光透過率であるため、可視光の波長域では、波長λによらず一定であると考えることができる。したがって、式１４は、次の式１５に変形できる。
Figure JPOXMLDOC01-appb-M000010
　したがって、本実施形態における透過フィルタＣ１、Ｃ２、Ｃ３、Ｃ４は、式１５を満足するように設計される。これにより、式４に基づく演算によって画像信号Ｃｉ１、Ｃｉ２を求めることができる。
　なお、同様の議論により、式３における行列の代わりに、Ｔｗを除去した、∫Tc1(λ)Td1(λ)dλ、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、∫Tc2(λ)Td2(λ)dλを要素とする行列を用いて上記の演算処理を行ってもよい。この場合、Ｔｗは単なる定数であるため、上記の結論に変わりはない。
　以上の条件を満たす分光透過率をもつ透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の例を簡単に説明する。図５は、透光板２における透過領域Ｃ１、Ｃ２の分光透過率の例を示す図である。この例では、領域Ｃ１の分光透過率Ｔｃ１は可視光の波長域（約４００ｎｍ～約７００ｎｍ）で１００％となる矩形波のような波形で表され、領域Ｃ２の分光透過率Ｔｃ２は可視光の波長域においてｃｏｓカーブのような波形で表される。一方、図６は、撮像素子１の透過フィルタＤ１、Ｄ２の分光透過率の例を示す図である。この例では、透過フィルタＤ１の分光透過率Ｔｄ１は矩形波のような波形で表され、透過フィルタＤ２の分光透過率Ｔｄ２はｓｉｎカーブのような波形で表される。各分光透過率が上記のように設計されている場合、ΣＴｃ１Ｔｄ１＞０、ΣＴｃ１Ｔｄ２＞０、ΣＴｃ２Ｔｄ１＞０、およびΣＴｃ２Ｔｄ２＞０が成立する。さらに、Ｔｃ１およびＴｄ１は、どの波長においても透過率が１００％であるため、光の減衰がない。このように、透光板２および撮像素子１に透過率が１００％となる透過領域（透過フィルタ）を含む構成であれば、最も光利用率がよくなるため、このような分光透過率を採用し、これを基準として他の分光透過率を設計することが望ましい。なお、上記の例ではＴｃ１、Ｔｄ１を可視光の波長域全体で１００％としたが、厳密に１００％である必要はなく、例えば９０％以上の透過率を有していれば、十分に高い特性を得ることができる。
　各フィルタは、図５、図６に示す例に限らず、可視光の波長域に含まれる任意の波長の光について少なくとも一部を透過させ、Ｔｃ１とＴｃ２とが互いに異なり、Ｔｄ１とＴｄ２とが互いに異なるように設計されていればよい。例えば、図７、図８に示すように、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２が矩形波や三角関数以外の波形で表される場合であっても本発明を適用できる。
　上記の所望の分光特性を有する透過フィルタは、例えば誘電体多層膜によって作製される。誘電体多層膜を用いることにより，例えば４５０ｎｍ、５５０ｎｍ、６５０ｎｍの波長に透過率のピークを有するマルチバンドパスフィルタを構成することができる。また、透過率の高いＲ、Ｇ、Ｂフィルタを複数枚重ね合わせることにより、透明とは波長依存性が異なるが、透過率の高い透過フィルタを構成することが可能である。
　以上のように、本実施形態によれば、透光板２は２つの透過領域Ｃ１、Ｃ２を有し、領域Ｃ１、Ｃ２には、透過フィルタが配置されている。領域Ｃ１、Ｃ２は、ともに可視光の波長域に含まれる任意の波長の光を透過させるが、それらの透過率の波長依存性は互いに異なっている。また、撮像素子１の光感知セルアレイおよび透過フィルタアレイは、複数の単位要素から構成され、各単位要素は、２つの画素およびそれらに対向して配置された２つの透過フィルタＤ１、Ｄ２を含んでいる。透過フィルタＤ１、Ｄ２についても、ともに可視光の波長域に含まれる任意の波長の光を透過させるが、それらの透過率の波長依存性は互いに異なっている。さらに、透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の透過率は、画像信号生成部７が式４に基づく演算によって画像信号Ｃｉ１、Ｃｉ２を算出できるように、行列式ｄｅｔ≠０を満足するように設計されている。このような構成により、入射する光が仮に単色光であったとしても複数視点画像を生成することが可能となる。
　なお、本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像信号を生成するが、信号演算による画像信号の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても本実施形態と同様の効果を得ることができる。
　（実施形態２）
　次に、本発明の第２の実施形態を説明する。
　実施形態１の撮像装置では、透光板２は透過率の波長依存性が互いに異なる２つの透過フィルタを有し、撮像素子１の各単位要素も同様に透過率の波長依存性が互いに異なる２つの透過フィルタを有している。しかしながら、本発明はこのような実施形態に限定されるものではない。透光板２および撮像素子１の各単位要素は、３個以上の透過フィルタを有していてもよいし、それらの数が異なっていてもよい。以下、実施形態１の構成を一般化し、透光板２にｍ個（ｍは２以上の整数）の透過フィルタが配置され、撮像素子１の各単位要素にｎ個（ｎはｍ以上の整数）の透過フィルタが配置された構成例を説明する。本実施形態の撮像装置は、透光板２および撮像素子１の構成と、画像信号生成部７における処理を除いて実施形態１と同じである。以下の説明では、実施形態１と異なる点を中心に説明し、重複する事項についての説明を省略する。
　図９は、本実施形態における透光板２の構成例を模式的に示す図である。本実施形態における透光板２は、ｍ個の透過領域Ｃ１、Ｃ２、・・・、Ｃｍを有しており、各透過領域には透過フィルタが配置されている。ｍ個の透過領域Ｃ１～Ｃｍは、いずれも可視光の波長域に含まれる任意の波長の光を透過させるように設計され、それらの透過率の波長依存性は互いに異なっている。透光板２のうちｍ個の透過フィルタが配置された領域以外は、光を透過させない遮光領域である。なお、図９の構成では、各透過領域は円形であり、すべて同一の面積を有しているように描かれているが、各透過領域の形状およびサイズはこの例に限られるものではない。また、各透過領域の配置も図示される例に限らず、どのような配置であってもよい。透光板２の形状についても同様に、円形である必要はない。さらに、本実施形態では遮光領域を有しているが、遮光領域の部分を透光性部材で形成し、その領域も透過領域として扱ってもよい。
　図１０は、本実施形態における撮像素子１の各単位要素４０に含まれるｎ個の透過フィルタの配置例を模式的に示す図である。撮像素子１の各単位要素４０は、ｎ個の光感知セルおよびそれらに対向するｎ個の透過フィルタを有している。ｎ個の透過フィルタＤ１、Ｄ２、・・・、Ｄｎは、いずれも可視光の波長域に含まれる任意の波長の光を透過させるように設計され、それらの透過率の波長依存性は互いに異なっている。なお、図１０に示す配列はあくまでも一例であり、単位要素４０内の画素配列は他の配列であってもよい。
　以上の構成において、撮像素子１の透過フィルタＤ１、Ｄ２、・・・、Ｄｎから出力される画素信号をそれぞれｄ１、ｄ２、・・・、ｄｎとする。また、透過領域Ｃ１～Ｃｍ、および透過フィルタＤ１～Ｄｎの透過率が１００％であると仮定した場合に透過領域Ｃ１、Ｃ２、・・・、Ｃｍから各光感知セルに入射する光の強度を示す信号をそれぞれＣｉ１、Ｃｉ２、・・・、Ｃｉｍとする。すると、画素信号ｄ１、ｄ２、・・・、ｄｎと画像信号Ｃｉ１、Ｃｉ２、・・・、Ｃｉｍとの関係は、次の式１６で表される。
Figure JPOXMLDOC01-appb-M000011
　式１６において各要素が正、かつ行列式ｄｅｔ≠０であれば透光板２の各透過フィルタから入射する光の強度を求めることができる。実施形態１と同様、透光板２の各透過領域および撮像素子１の各透過フィルタは、可視光の波長域に含まれる任意の波長の光を透過させるように構成されているため、画素信号ｄ１～ｄｎに基づいて、透光板２の各透過領域に入射した光による画像信号Ｃｉ１～Ｃｉｎを算出することができる。
　以下、画像信号Ｃｉ１～Ｃｉｎを取得するための演算に必要な逆行列を求めることができる条件を説明する。まず、ｍ＞ｎの場合、独立な式がｎ個しかないため、Ｃｉ１～Ｃｉｍを求めることはできない。すなわち、行列のランクがｍより小さくなるため、式１６の解が得られない。一方、ｎ≧ｍの場合は、独立な式がｍ個以上存在すれば解が得られる。したがって、行列のランクがｍとなる独立な式をｎ'個（ｍ≦ｎ'≦ｎ）選択すれば、最小二乗法により解を得ることができる。
　式１６における行列のように多次元の行列においても行列式ｄｅｔ≠０であればランクがｍとなるため、行列式の値に基づいて解が算出できるか否かを判定できる。また、ランクを計算する方法は他にもあり、例えば、固有値解析（主成分分析や特異値分解、ＱＲ分解など）によって得られる固有値のうち値が０でないものの個数がランクとなる。したがって、行列の固有値解析によって得られる固有値のうち値が０でないものの個数がｍであることも上記の条件（ｄｅｔ≠０）と同値である。なお、ｎ＞ｍの場合は、式１６における行列（これをＡとする）とＡの転置行列（Ａt）との固有値が等しいことから、ＡとＡtを掛けて正方行列にしたのち、固有値解析をおこなうことで、ランクの計算が可能である。
　ここで、波長をλとし、透光板２のｍ個の透過フィルタのうちの任意の２つの透過フィルタの透過率をＴｃ１（λ）、Ｔｃ２（λ）と表し、撮像素子１の各単位要素に含まれるｎ個の透過フィルタのうちの任意の２つの透過フィルタの透過率をＴｄ１（λ）、Ｔｄ２（λ）と表す。本実施形態における各透過フィルタは、∫Ｔｃ１（λ）Ｔｄ１（λ）ｄλ＞０、∫Ｔｃ１（λ）Ｔｄ２（λ）ｄλ＞０、∫Ｔｃ２（λ）Ｔｄ１（λ）ｄλ＞０、∫Ｔｃ２（λ）Ｔｄ２（λ）ｄλ＞０を満足するように設計される。さらに、各透過フィルタは、以下の式１７を満足するように設計される。
Figure JPOXMLDOC01-appb-M000012
　ただし、積分区間は可視光全体の波長域である。以上の条件を満足することにより、式１４に基づいて画像信号Ｃｉ１～Ｃｉｍを求めることができる。
　なお、本実施形態の撮像装置は、信号Ｃｉ１～Ｃｉｍの全てを生成せずに、これらの信号のうち少なくとも２つの信号を生成するように構成されていてもよい。そのような構成であっても、視差を有する少なくとも２つの画像データを得ることができる。また、ｎ個の画素信号の全てを用いるのではなく、行列のランクがｍになるようにｍ個の画素信号を選択して用いることによってｍ個の複数視点画像を生成してもよい。
　本実施形態において、ｍ個の透過領域の少なくとも１つ、およびｎ個の透過フィルタの少なくとも１つは、波長依存性のないフィルタであってもよい。特に、光利用率を高めるという観点からは、これらは透明であることが好ましい。
　最後に、以上の各実施形態の撮像装置において、観測画素値から複数の入射光強度を算出する際の、解算出の安定性について説明する。なお、以下では実施形態１の構成を想定するが、実施形態２のように一般化された構成であっても同様の議論が成立する。まず、式５を、ノイズを考慮して再度定式化する。ここで、観測画素値ｄ１、ｄ２のそれぞれに付加されるノイズ量をΔｄ１、Δｄ２とする。ノイズには、画像の熱雑音、伝送路や撮像素子のショットノイズなどに加えて、分光透過率の測定誤差なども含まれ得る。このとき、式５は、次の式１８、１９に変形される。
　（式１８）　Ci1 = det-1[Mx22(d1+Δd1)―Mx12(d2+Δd2)]
　（式１９）　Ci2 = det-1[Mx21(d1+Δd1)―Mx11(d2+Δd2)]
　ここで、ｄｅｔは行列式であり、ｄｅｔ＝Ｍｘ１１Ｍｘ２２－Ｍｘ１２Ｍｘ２１である。式１８における原信号ｄ１、ｄ２に関する項を左辺に移項すると、次の式２０が得られる。
　（式２０）　Ci1―det-1(Mx22d1―Mx12d2) = det-1(Mx22Δd1―Mx12Δd2)
　式２０は誤差を表し、ノイズが無ければ０になるはずである。右辺のノイズ量は撮像素子１に起因するものは信号量に比例し、分光透過率の測定誤差に起因するものは一定のオフセットになる。どちらのノイズ量が多いかは撮影環境に依存するため、ここでは単に（Ｍｘ２２Δｄ１―Ｍｘ１２Δｄ２）＝Ｎとおく。すると、次の式２１が得られる。
　（式２１）　Ci1―det-1(Mx22d1―Mx12d2) = det-1N
　式２１より、誤差は行列式に反比例することがわかる。すなわち，行列式の絶対値が小さいほど誤差の影響が大きく、行列式の絶対値が大きいほど誤差の影響は小さい。以上のことから、ノイズ量の測定は困難であるが、｜ｄｅｔ｜＝｜Ｍｘ１１Ｍｘ２２―Ｍｘ１２Ｍｘ２１｜ができるだけ大きくなるように各透過フィルタの分光透過率を設計することにより、ノイズに頑健な撮像装置を構築できる。例えば、カメラの感度をＩＳＯ１００に設定し、蛍光灯下で撮影する場合は、行列式の絶対値が０．１以上であれば安定して解が得られることが経験的に判明している。このような条件下で使用することが多いと想定される撮像装置においては、行列式の絶対値が０．１以上になるようにＴｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２が設定されていればよい。一方、さらにノイズが多くなる環境下で使用されることが想定される撮像装置では、行列式の絶対値がさらに大きくなるようにＴｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２を設定することが好ましい。
　このように、撮影シーンの明るさやＩＳＯ感度などのカメラの設定によってノイズが増減する撮影環境において、行列式の絶対値が所定の閾値以上になるように各透過フィルタの分光透過率が設定されることが好ましい。このため、最適な分光透過率の組を選択できるように、透過特性が互いに異なる複数種類の透光板が撮像装置に設けられていてもよい。撮影環境から想定されるノイズ量に応じて複数の透光板の中から１つを自動または手動で選択できるように構成することにより、行列式の絶対値を所定の閾値よりも常に大きくすることが可能である。
　本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
　１　固体撮像素子
　１ａ　固体撮像素子の撮像面
　２　透光板
　３　光学レンズ
　３ａ　透光板と光学レンズの機能が一体化された光学素子
　４　赤外カットフィルタ
　５　信号発生／受信部
　６　素子駆動部
　７　画像信号生成部
　８　インターフェース部
　１９　レンズ絞り
　２０、２２、２３　光束制限板
　２０ａ　赤系統の光を透過させる色フィルタ
　２０ｂ　青系統の光を透過させる色フィルタ
　２１　感光フィルム
　２２Ｒ、２３Ｒ　光束制限板のＲ光透過領域
　２２Ｇ、２３Ｇ　光束制限板のＧ光透過領域
　２２Ｂ、２３Ｂ　光束制限板のＢ光透過領域
　３０　メモリ
　４０　単位要素
　１００　撮像部
　１１０　透過フィルタ
　１２０　光感知セル
　２００　信号処理部

Claims (6)

  1. 　透過率の波長依存性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、
    　前記光透過部を透過した光を受けるように配置された固体撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置された透過フィルタアレイを有し、前記光感知セルアレイおよび前記透過フィルタアレイは、複数の単位要素から構成され、各単位要素は、ｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるｎ個の透過フィルタを含む、固体撮像素子と、
    　前記固体撮像素子の撮像面に像を形成する結像部と、
    を備え、
    　波長をλとし、前記ｍ個の透過領域のうちの任意の２つの透過領域の透過率を示す関数をＴｃ１（λ）およびＴｃ２（λ）、前記ｎ個の透過フィルタのうちの任意の２つの透過フィルタの透過率を示す関数をＴｄ１（λ）およびＴｄ２（λ）とし、積分区間を可視光全体の波長域とするとき、
     ∫Tc1(λ)Td1(λ)dλ>0、
     ∫Tc1(λ)Td2(λ)dλ>0、
     ∫Tc2(λ)Td1(λ)dλ>0、
     ∫Tc2(λ)Td2(λ)dλ>0、および
     ∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ
    を満足する、３次元撮像装置。
  2. 　前記ｎ個の光感知セルのうち少なくともｍ個の光感知セルから出力される光電変換信号を用いて前記ｍ個の透過領域に入射した光によるｍ個の複数視点画像を生成する画像生成部をさらに備えている、請求項１に記載の３次元撮像装置。
  3. 　前記画像生成部は、各透過領域の透過率および各透過フィルタの透過率に基づいて決定されるｎ行ｍ列の行列を用いた演算により、前記ｍ個の複数視点画像を生成する、請求項２に記載の３次元撮像装置。
  4. 　ｍ＝２、ｎ＝２であり、
    　前記画像生成部は、∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、および∫Tc2(λ)Td2(λ)dλを前記行列の要素とする２行２列の行列を用いて前記複数視点画像を生成する、請求項２または３に記載の３次元撮像装置。
  5. 　前記ｍ個の透過領域の少なくとも１つにおける透過率、および前記ｎ個の透過フィルタの少なくとも１つにおける透過率は、可視光の波長域において波長依存性を有しないように設計されている、請求項１から４のいずれかに記載の３次元撮像装置。
  6. 　前記ｍ個の透過領域の少なくとも１つ、および前記ｎ個の透過フィルタの少なくとも１つは、透明である、請求項５に記載の３次元撮像装置。
PCT/JP2011/005832 2011-01-17 2011-10-19 撮像装置 WO2012098599A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020127021181A KR101808355B1 (ko) 2011-01-17 2011-10-19 촬상 장치
JP2012553469A JP5853202B2 (ja) 2011-01-17 2011-10-19 撮像装置
CN201180014171.4A CN102823230B (zh) 2011-01-17 2011-10-19 摄像装置
US13/634,638 US8902293B2 (en) 2011-01-17 2011-10-19 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-007153 2011-01-17
JP2011007153 2011-01-17

Publications (1)

Publication Number Publication Date
WO2012098599A1 true WO2012098599A1 (ja) 2012-07-26

Family

ID=46515254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/005832 WO2012098599A1 (ja) 2011-01-17 2011-10-19 撮像装置

Country Status (6)

Country Link
US (1) US8902293B2 (ja)
JP (1) JP5853202B2 (ja)
KR (1) KR101808355B1 (ja)
CN (1) CN102823230B (ja)
TW (1) TWI505693B (ja)
WO (1) WO2012098599A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018025732A (ja) * 2016-07-27 2018-02-15 京セラ株式会社 光学フィルタ部材および撮像装置
US10145994B2 (en) 2014-11-28 2018-12-04 Kabushiki Kaisha Toshiba Lens device and image capturing device for acquiring distance information at high accuracy
WO2020213419A1 (ja) * 2019-04-15 2020-10-22 富士フイルム株式会社 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
WO2020213418A1 (ja) * 2019-04-15 2020-10-22 富士フイルム株式会社 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1907583T4 (da) 2005-06-15 2020-01-27 Complete Genomics Inc Enkeltmolekyle-arrays til genetisk og kemisk analyse
WO2013027320A1 (ja) * 2011-08-25 2013-02-28 パナソニック株式会社 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム
JP6467801B2 (ja) * 2014-07-31 2019-02-13 セイコーエプソン株式会社 分光画像取得装置、及び受光波長取得方法
CN109163805B (zh) * 2014-11-19 2022-03-22 松下知识产权经营株式会社 分光系统
CN106610522A (zh) * 2015-10-26 2017-05-03 南京理工大学 一种立体显微成像装置及方法
DE102018104906B3 (de) * 2018-03-05 2018-12-13 Sick Ag Kamera
CN112087559B (zh) * 2019-06-13 2021-11-30 华为技术有限公司 图像传感器、图像拍摄装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
WO2011151948A1 (ja) * 2010-06-02 2011-12-08 パナソニック株式会社 ３次元撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
US6807295B1 (en) 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP2001016612A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及び視差画像撮像方法
JP2002344999A (ja) 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
JP5099704B2 (ja) 2008-08-06 2012-12-19 独立行政法人産業技術総合研究所 高さを測定する方法及び高さ測定装置
GB2463480A (en) 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
WO2011151948A1 (ja) * 2010-06-02 2011-12-08 パナソニック株式会社 ３次元撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10145994B2 (en) 2014-11-28 2018-12-04 Kabushiki Kaisha Toshiba Lens device and image capturing device for acquiring distance information at high accuracy
JP2018025732A (ja) * 2016-07-27 2018-02-15 京セラ株式会社 光学フィルタ部材および撮像装置
WO2020213419A1 (ja) * 2019-04-15 2020-10-22 富士フイルム株式会社 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
WO2020213418A1 (ja) * 2019-04-15 2020-10-22 富士フイルム株式会社 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム

Also Published As

Publication number Publication date
TW201233145A (en) 2012-08-01
JPWO2012098599A1 (ja) 2014-06-09
US20130002825A1 (en) 2013-01-03
US8902293B2 (en) 2014-12-02
JP5853202B2 (ja) 2016-02-09
KR101808355B1 (ko) 2017-12-12
TWI505693B (zh) 2015-10-21
CN102823230A (zh) 2012-12-12
KR20140000130A (ko) 2014-01-02
CN102823230B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
JP5853202B2 (ja) 撮像装置
JP5227368B2 (ja) ３次元撮像装置
JP5923754B2 (ja) ３次元撮像装置
JP5406151B2 (ja) ３次元撮像装置
JP6034197B2 (ja) 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
US9179127B2 (en) Three-dimensional imaging device, imaging element, light transmissive portion, and image processing device
WO2012137485A1 (ja) ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
US9086620B2 (en) Three-dimensional imaging device and optical transmission plate
JP5914881B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
JP5406163B2 (ja) ３次元撮像装置および画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180014171.4

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20127021181

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012553469

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11856073

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13634638

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11856073

Country of ref document: EP

Kind code of ref document: A1