WO2013054469A1 - 奥行き推定撮像装置および撮像素子 - Google Patents

奥行き推定撮像装置および撮像素子 Download PDF

Info

Publication number
WO2013054469A1
WO2013054469A1 PCT/JP2012/005779 JP2012005779W WO2013054469A1 WO 2013054469 A1 WO2013054469 A1 WO 2013054469A1 JP 2012005779 W JP2012005779 W JP 2012005779W WO 2013054469 A1 WO2013054469 A1 WO 2013054469A1
Authority
WO
WIPO (PCT)
Prior art keywords
mirror
light
region
depth
subject
Prior art date
Application number
PCT/JP2012/005779
Other languages
English (en)
French (fr)
Inventor
平本　政夫
育規 石井
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/813,503 priority Critical patent/US9456198B2/en
Priority to JP2012554905A priority patent/JP5923755B2/ja
Priority to CN201280002236.8A priority patent/CN103168272B/zh
Publication of WO2013054469A1 publication Critical patent/WO2013054469A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • This application relates to a monocular three-dimensional imaging technique that acquires depth information of a subject using one optical system and one imaging device.
  • imaging device such as a CCD or CMOS.
  • imaging device solid-state imaging device
  • the pixel structure in an image sensor has been miniaturized.
  • higher integration of pixels and drive circuits of the image sensor has been achieved.
  • the number of pixels of the image sensor has increased significantly from about 1 million pixels to over 10 million pixels.
  • the quality of the image obtained by imaging has improved dramatically.
  • a thin liquid crystal display or a plasma display enables high-resolution and high-contrast display without taking up space, and high performance is realized.
  • the flow of improving the quality of such a video spreads from a two-dimensional image to a three-dimensional image, and further, an imaging device capable of estimating the depth of a subject has begun to be developed.
  • a technology that can acquire depth information using a monocular camera equipped with a plurality of microlenses and can freely change the focal position of the acquired image based on that information To do.
  • a technique is called light field photography, and a monocular camera using it is called a light field camera.
  • a light field camera a plurality of microlenses are arranged on an image sensor. Each microlens is disposed so as to cover a plurality of pixels.
  • the depth of the subject can be estimated by calculating information related to the direction of incident light from the acquired image information.
  • Such a camera is disclosed in Non-Patent Document 1, for example.
  • Patent Document 1 discloses a technique for improving resolution using two imaging systems. In this technology, incident light is divided into two, and each of the divided incident lights is imaged by an imaging system having a microlens group arranged with a spatially shifted pitch of 1/2 pitch, and then the acquired images are synthesized. To improve the resolution.
  • Patent Document 2 discloses a technique for switching between a normal imaging mode and a mode based on light field photography using one imaging system. According to this technique, a microlens whose focal length changes according to the applied voltage is used. The focal length of the microlens is set to infinity in the former mode, and is set to a predetermined distance in the latter mode. With such a mechanism, an image with high resolution and depth information can be obtained.
  • Embodiment of this invention provides the imaging technique which can acquire depth information using the image pick-up element which has a structure different from a prior art.
  • a depth estimation imaging device includes an imaging device in which a plurality of photosensitive cells are arranged on an imaging surface, an optical lens arranged to be condensed on the imaging surface, and an imaging lens disposed on the imaging surface.
  • a translucent member having a first mirror that reflects at least a portion of light therein and a second mirror having the same reflection characteristics as the first mirror on the top surface
  • a signal processing unit that processes photoelectric conversion signals output from the plurality of photosensitive cells.
  • the reflective surface of the first mirror is inclined with respect to the upper surface of the translucent member, and the reflective surface of the second mirror is parallel to the upper surface.
  • a light beam incident from one point of the subject through the optical lens is reflected by the first mirror, and further reflected by the second mirror, so that one part of the imaging surface is reflected.
  • the irradiated region is arranged differently according to the depth of one point of the subject.
  • a depth estimation imaging apparatus including an imaging element in which a plurality of photosensitive cells are arranged on an imaging surface, an optical lens arranged so as to collect light on the imaging surface, and the imaging surface.
  • a translucent member disposed, the translucent member having a light beam splitting region that divides a light beam in a specific wavelength range incident from a part of a subject through the optical lens into at least three light beams, and the plurality of lights
  • a signal processing unit for processing a photoelectric conversion signal output from the sensing cell.
  • the light beam splitting region is composed of at least three partial regions including a first partial region, a second partial region, and a third partial region whose upper surfaces are located on the same plane.
  • the reflective surfaces of the first and second mirrors are inclined with respect to the upper surface of the light beam splitting region, and the reflective surface of the third mirror is parallel to the upper surface.
  • the first mirror, the second mirror, and the third mirror are at least one of the light beams in the specific wavelength region incident on the first partial region from the part of the subject through the optical lens.
  • Light sensing The amount of received light detected by the first photosensitive cell group, the second photosensitive cell group, and the third photosensitive cell group by irradiating the third photosensitive cell group included in the cell.
  • the distributions are different from each other and are arranged so as to differ according to the depth of the part of the subject.
  • information indicating the depth of a subject can be obtained using an image sensor different from the conventional one.
  • depth information can be calculated using infrared light, and normal resolution that does not cause resolution degradation due to visible light.
  • An image can be obtained. That is, it becomes possible to obtain depth information and a normal image with a monocular camera.
  • FIG. 1 is a configuration diagram of an imaging device in an exemplary embodiment 1.
  • FIG. 3 is a schematic diagram of an imaging unit in Exemplary Embodiment 1.
  • FIG. It is a top view of the translucent board in example Embodiment 1.
  • FIG. 3 is a cross-sectional view taken along the line A-A ′ of the translucent plate in exemplary embodiment 1.
  • 1 is a plan view of an image sensor in an exemplary embodiment 1.
  • FIG. 3 is a schematic diagram for explaining the principle of imaging in exemplary embodiment 1.
  • FIG. 3 is a flowchart illustrating a shooting operation in Exemplary Embodiment 1.
  • FIG. 4B is a sectional view taken along line B-B ′ in FIG. 4A. It is sectional drawing which shows the 3rd modification of the light transmission board in illustrative Embodiment 1. FIG. It is sectional drawing which shows the 4th modification of the light transmission board in illustrative Embodiment 1.
  • FIG. It is a top view of the translucent board in example Embodiment 2. It is a top view which shows the basic composition of the light transmission board in illustrative Embodiment 2.
  • FIG. 6 is a cross-sectional view of the translucent plate taken along the line A-A ′ in Exemplary Embodiment 2.
  • FIG. 6 is a cross-sectional view of the translucent plate taken along the line B-B ′ in Exemplary Embodiment 2. It is a conceptual diagram which shows the mode of the light incidence to the translucent board in illustrative Embodiment 2.
  • FIG. 10 is a flowchart illustrating a shooting operation in Exemplary Embodiment 2.
  • a depth estimation imaging apparatus includes an imaging element in which a plurality of photosensitive cells are arranged on an imaging surface, an optical lens arranged to be condensed on the imaging surface, and the imaging surface.
  • a translucent member that is disposed and has a first mirror that reflects at least a portion of light inside, and a second mirror that has the same reflection characteristics as the first mirror on the top surface.
  • a light-sensitive member; and a signal processing unit that processes photoelectric conversion signals output from the plurality of photosensitive cells.
  • the reflective surface of the first mirror is inclined with respect to the upper surface of the translucent member, and the reflective surface of the second mirror is parallel to the upper surface, and the first mirror and the first mirror In the second mirror, a light beam incident from one point of the subject through the optical lens is reflected by the first mirror, and further reflected by the second mirror to irradiate a part of the imaging surface. Depending on the depth of the one point of the subject, the irradiated region is arranged differently.
  • the signal processing unit detects information about the depth of the one point of the subject by detecting the region irradiated with the light flux based on photoelectric conversion signals output from the plurality of photosensitive cells. Is further provided.
  • the depth information generation unit refers to information prepared by prescribing information that defines a correspondence relationship between the size of the region irradiated with the light flux and the depth of the one point of the subject. Generates information indicating
  • the shape of the first mirror projected onto a plane parallel to the upper surface of the translucent member is a ring shape or a circular shape.
  • the second mirror projected onto a plane parallel to the upper surface of the translucent member is positioned so as to surround the first mirror projected onto the plane.
  • the translucent member includes a first mirror group including a plurality of mirrors having the same reflection characteristics, shape, and inclination angle with respect to the upper surface, including the first mirror, Each mirror of one mirror group is arranged so that the light beam reflected by each mirror is further reflected by the second mirror and irradiates different areas of the imaging surface.
  • the second mirror projected onto a plane parallel to the upper surface of the translucent member is positioned so as to surround each mirror of the first mirror group projected onto the plane.
  • At least one of the first mirror and the second mirror is light transmissive.
  • the first mirror and the second mirror have characteristics of reflecting light in a specific wavelength range and transmitting visible light in other wavelength ranges.
  • the depth estimation imaging apparatus includes: an optical filter that cuts light in the specific wavelength range; and a filter driving unit that can attach and detach the optical filter on an optical path from the subject to the imaging element. It has more.
  • the depth estimation imaging apparatus is continuously twice in a first state in which the optical filter is inserted on the optical path and in a second state in which the optical filter is off the optical path.
  • a control unit for controlling the filter driving unit and the image pickup device.
  • the signal processing unit includes: an image generation unit that generates an image based on photoelectric conversion signals output from the plurality of photosensitive cells in the first state; and the plurality of the plurality of signal processing units in the first state. Irradiated with light in the specific wavelength range by a process including a difference calculation between the photoelectric conversion signals output from the photosensitive cells and the photoelectric conversion signals output from the plurality of photosensitive cells in the second state.
  • a depth information generation unit configured to generate information indicating the depth of the one point of the subject by detecting an area of the imaging surface;
  • the light in the specific wavelength range is infrared light.
  • the lower limit of the specific wavelength range is longer than 650 nm.
  • An imaging device includes a photosensitive cell array in which a plurality of photosensitive cells are two-dimensionally arranged, and a translucent member disposed to face the photosensitive cell array.
  • the translucent member has a first mirror that reflects at least a portion of light inside, and a second mirror that has the same reflection characteristics as the first mirror on the top surface.
  • the reflective surface of the first mirror is inclined with respect to the upper surface of the translucent member, and the reflective surface of the second mirror is parallel to the upper surface.
  • a light beam incident from one point of a subject is reflected by the first mirror, and further reflected by the second mirror to be a partial region of the photosensitive cell array.
  • the region to be irradiated is arranged differently according to the depth of the one point of the subject.
  • a depth estimation imaging apparatus includes an imaging device in which a plurality of photosensitive cells are arranged on an imaging surface, an optical lens arranged to be condensed on the imaging surface, and the imaging surface.
  • a translucent member having a light beam splitting region that divides a light beam in a specific wavelength region incident from a part of a subject through the optical lens into at least three light beams, and A signal processing unit that processes a photoelectric conversion signal output from the photosensitive cell.
  • the light beam splitting region is composed of at least three partial regions including a first partial region, a second partial region, and a third partial region whose upper surfaces are located on the same plane.
  • the reflective surfaces of the first and second mirrors are inclined with respect to the upper surface of the light beam splitting region, and the reflective surface of the third mirror is parallel to the upper surface.
  • the first mirror, the second mirror, and the third mirror are at least one of the light beams in the specific wavelength region incident on the first partial region from the part of the subject through the optical lens.
  • Light sensing The amount of received light detected by the first photosensitive cell group, the second photosensitive cell group, and the third photosensitive cell group by irradiating the third photosensitive cell group included in the cell.
  • the distributions are different from each other and are arranged so as to differ according to the depth of the part of the subject.
  • the signal processing unit generates information indicating the depth of the part of the subject based on photoelectric conversion signals output from the first to third photosensitive cell groups. have.
  • the depth information generation unit includes a peak value or received light amount distribution of light reception detected by each of the first to third light sensing cell groups prepared in advance, and the part of the subject.
  • the information indicating the depth is generated by referring to the information that defines the correspondence relationship with the depth.
  • the light beam splitting region is configured by the first partial region, the second partial region, the third partial region, and the fourth partial region that have the same shape and size, and the first partial region,
  • the three mirrors are arranged in the same pattern on the upper surfaces of the third and fourth partial regions.
  • the first to fourth partial regions are arranged in two rows and two columns when viewed from a direction perpendicular to the upper surface of the light beam splitting region.
  • the first partial region is located in the first row and the second column
  • the second partial region is located in the second row and the first column
  • the third partial region is in the first row and the first column.
  • the fourth partial region is located in the second row and the second column.
  • the third mirror has a circular or ring-shaped opening on the upper surface of each partial region.
  • the third mirror has a ring-shaped first opening on the upper surface of the first partial region, and the first mirror has the first opening on the upper surface of the second partial region.
  • the first mirror is disposed so as to reflect a light beam incident through the first opening and to face a portion of the third mirror surrounded by the first opening.
  • the second mirror is disposed so as to reflect the light beam incident through the second opening and to direct toward the portion of the third mirror surrounded by the second opening.
  • the specific wavelength range is a wavelength range of infrared light.
  • the lower limit of the specific wavelength range is longer than 650 nm.
  • the first to third mirrors have a characteristic of transmitting visible light other than the specific wavelength range.
  • the translucent member has a plurality of light beam splitting regions having the same structure including the light beam splitting region.
  • the depth estimation imaging apparatus further includes an optical filter that cuts off the light in the specific wavelength range, and a filter driving unit that can attach and detach the optical filter on the optical path.
  • the depth estimation imaging apparatus continuously captures two images in a first state in which the optical filter is inserted on the optical path and a second state in which the optical filter is off the optical path.
  • a control unit for controlling the filter driving unit and the image sensor.
  • the signal processing unit includes: an image generation unit that generates an image based on photoelectric conversion signals output from the plurality of photosensitive cells in the first state; and the plurality of the plurality of signal processing units in the first state.
  • a depth information generation unit for generating the depth information.
  • An imaging device includes a photosensitive cell array in which a plurality of photosensitive cells are two-dimensionally arranged, and a translucent member disposed to face the photosensitive cell array.
  • a translucent member having a light beam splitting region that divides a light beam in a specific wavelength region incident from a part of the light beam into at least three light beams.
  • the light beam splitting region is composed of at least three partial regions including a first partial region, a second partial region, and a third partial region whose upper surfaces are located on the same plane.
  • the reflective surfaces of the first and second mirrors are inclined with respect to the upper surface of the light beam splitting region, and the reflective surface of the third mirror is parallel to the upper surface.
  • the first mirror, the second mirror, and the third mirror may be configured such that at least a part of the light beam in the specific wavelength region that has entered the first partial region from the part of the subject is the The first photosensitive cell group reflected from the first mirror and further reflected from the third mirror to irradiate the first photosensitive cell group included in the plurality of photosensitive cells, and the second part from the part of the subject. Second light sensing included in the plurality of light sensing cells is reflected by the second mirror, and further reflected by the third mirror and incident on the region.
  • the received light amount distributions detected by the intelligent cell group, the second photosensitive cell group, and the third photosensitive cell group are different from each other and arranged to be different according to the depth of the part of the subject. Has been.
  • Imaging device the depth estimation imaging device (hereinafter simply referred to as “imaging device”) according to the first embodiment will be described. Before describing the details of the present embodiment, first, the basic concept of the present embodiment will be briefly described.
  • the image pickup apparatus includes an image pickup element in which a plurality of photosensitive cells are arranged on the image pickup surface, an optical lens arranged so as to collect light on the image pickup surface of the image pickup element, and a transparent member arranged on the image pickup surface.
  • the optical member includes a signal processing unit that processes signals output from the plurality of photosensitive cells.
  • the translucent member has a first mirror and a second mirror, respectively, inside and on its upper surface.
  • the “upper surface” refers to the surface of the translucent member on the side opposite to the side on which the imaging element is present.
  • the first mirror and the second mirror are designed to reflect a portion of the incident light.
  • the first mirror is provided inside the translucent member, and the reflection surface thereof is inclined with respect to the upper surface of the translucent member.
  • the second mirror is disposed on the translucent member so that the reflection surface thereof is parallel to the upper surface of the translucent member.
  • the imaging apparatus When light from one point of the subject enters the imaging apparatus configured as described above, part of the light transmitted through the optical lens is first reflected by the first mirror, further reflected by the second mirror, and A part of the imaging surface is irradiated.
  • the irradiated region depends on the depth of one point of the subject, that is, the distance from the imaging device. This is because when the depth is different, the incident angle of the light incident on the translucent member is different, and as a result, the traveling directions of the light reflected by the first and second mirrors are different.
  • the light component reflected and incident by the first and second mirrors is extracted from the light incident on the imaging surface of the image sensor and photoelectrically converted, and irradiated by the light of the component.
  • the shape and size of the selected area are detected.
  • information indicating the depth of the subject can be obtained. Specific processing for generating depth information will be described later.
  • the imaging apparatus itself includes an image processing unit, and generates information (depth information) indicating the depth of the subject.
  • depth information information indicating the depth of the subject.
  • the photoelectric conversion signal acquired by imaging hereinafter, also referred to as “pixel signal”
  • pixel signal may be sent to another apparatus, so that the other It is possible for the device to generate depth information.
  • such an imaging apparatus that does not generate depth information itself but provides information for generating depth information is also referred to as a “depth estimation imaging apparatus”.
  • FIG. 1 is a block diagram illustrating the overall configuration of the imaging apparatus according to the present embodiment.
  • the imaging apparatus according to the present embodiment is a digital electronic camera, and includes an imaging unit 100 and a signal processing unit 200 that generates a signal (image signal) indicating an image based on a signal generated by the imaging unit 100. ing.
  • the imaging device may have a function of generating not only a still image but also a moving image.
  • the imaging unit 100 reflects a solid-state imaging device 2 (hereinafter simply referred to as “imaging device”) including a photosensitive cell array composed of a plurality of photosensitive cells arranged on an imaging surface, and reflects infrared light.
  • imaging device a solid-state imaging device 2
  • a filter driving unit 4 a for taking in and out the infrared cut filter 4 between the optical lens 3 and the translucent plate 1 is provided.
  • the translucent plate 1 is mounted on the imaging surface of the image sensor 2. In this embodiment, the translucent plate 1 functions as the translucent member.
  • the imaging unit 100 also generates a basic signal for driving the imaging device 2, receives an output signal from the imaging device 2, and sends the signal to the signal processing unit 200.
  • Signal generation / reception And an element driving unit 6 that drives the image sensor 2 based on the basic signal generated by the unit 5.
  • the image sensor 2 is typically a CCD or CMOS sensor, and is manufactured by a known semiconductor manufacturing technique.
  • the signal generation / reception unit 5 and the element driving unit 6 are composed of an LSI such as a CCD driver, for example. Note that the position where the filter driving unit 4a inserts the infrared cut filter 4 is not necessarily between the optical lens 3 and the light transmitting plate 1, but at any position on the optical path from the subject to the image sensor 2. What is necessary is just to be comprised so that the infrared cut filter 4 may be driven so that attachment or detachment is possible.
  • the signal processing unit 200 processes the signal output from the image capturing unit 100 to generate a normal image with no reduction in resolution and depth information of the subject, and various data used for generating the image signal.
  • a memory 30 for storage and an interface (IF) unit 8 for transmitting the generated image signal and depth information to the outside are provided.
  • the image processing unit 7 includes an image generation unit 7a that generates a normal image and a depth information generation unit 7b that generates depth information.
  • the image processing unit 7 can be suitably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image signal generation processing.
  • the memory 30 is configured by a DRAM or the like.
  • the memory 30 records the signal obtained from the imaging unit 100 and temporarily records the image data generated by the image processing unit 7 and the compressed image data. These image data are sent to a recording medium (not shown) or a display unit via the interface unit 8.
  • the imaging apparatus of the present embodiment may include known components such as an electronic shutter, a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • said structure is an example and in this embodiment, components other than the light transmission board 1, the image pick-up element 2, and the image process part 7 can be used combining a well-known element suitably.
  • the imaging surface of the imaging device 10 is an “xy plane”, and the “x axis” is the horizontal direction on the imaging surface, the “y axis” is the vertical direction on the imaging surface, and the “z axis” is the direction perpendicular to the imaging surface.
  • horizontal direction and vertical direction mean directions on the imaging surface corresponding to the horizontal direction and vertical direction of the generated image, respectively.
  • FIG. 2 is a diagram schematically showing the arrangement relationship of the lens 3, the infrared cut filter 4, the translucent plate 1, and the imaging device 2 in the imaging unit 100.
  • the infrared cut filter 4 is shifted in the x direction by the filter driving unit 4a.
  • the filter driving unit 4a When the infrared cut filter 4 enters the region on the translucent plate 1, the infrared light component of the light incident on the image sensor 2 is removed.
  • the infrared cut filter 4 comes out of the region on the light transmitting plate 1 of the optical system, the infrared light component contained in the incident light is not removed and enters the image pickup surface of the image pickup device 2 as it is.
  • the imaging apparatus generates a normal image from pixel signals acquired in a state where the infrared cut filter 4 is placed in a region on the translucent plate 1.
  • a mode for performing this operation is referred to as a “normal photographing mode”.
  • the imaging apparatus calculates the depth of the subject from the pixel signal acquired in a state where the infrared cut filter is protruded from the region on the translucent plate 1.
  • a mode for performing this operation is referred to as a “depth estimation mode”.
  • the lens 3 may be a lens unit composed of a plurality of lens groups, but is illustrated as a single lens in FIG. 2 for simplicity.
  • the lens 3 is a known lens, and collects incident light and forms an image on the imaging surface of the imaging device 2 regardless of the presence or absence of the infrared cut filter 4. 2 is merely an example, and the present invention is not limited to such an example.
  • the arrangement relationship between the lens 3, the infrared cut filter 4, and the filter driving unit 4a may be switched.
  • the infrared cut filter 4 is put in and out in the x direction.
  • the direction is arbitrary as long as the infrared light component of the incident light can be shielded. That is, the movable direction of the infrared cut filter 4 may be the y direction, or a direction different from the x direction and the y direction.
  • FIG. 3A is a plan view of the translucent plate 1. Most of the surface of the translucent plate 1 is covered with the infrared reflection mirror 1b and has a circular portion (hereinafter referred to as “infrared reflection opening”) that is not partially covered with the infrared reflection mirror 1b. .
  • the translucent plate 1 is made of a transparent glass material and is mounted on the light sensing portion of the image sensor 2.
  • the translucent plate 1 is not limited to glass, and may be formed of any material as long as it is a translucent member.
  • FIG. 3B is a cross-sectional view taken along the line A-A ′ in FIG. 3A.
  • the translucent plate 1 has a ring-shaped infrared reflection mirror 1a having a reflective surface inclined inside. Since the infrared reflecting mirror 1a has a ring shape, there is no portion that reflects infrared light at the center thereof, and the light that passes through the center enters the photosensitive cell 10 of the image sensor 2 as it is.
  • the infrared reflection mirrors 1a and 1b function as the first and second mirrors, respectively.
  • Both the infrared reflection mirrors 1a and 1b have a characteristic of mainly reflecting infrared light and transmitting visible light in other wavelength ranges.
  • infrared light refers to electromagnetic waves having a wavelength longer than 650 nm, for example.
  • the translucent plate 1 including the infrared reflecting mirrors 1a and 1b shown in FIG. 3B can be manufactured by performing deposition and patterning of a thin film by known lithography and etching techniques. For example, first, a plurality of frustoconical protrusions are formed on a transparent substrate. Next, a dielectric multilayer film in which the refractive index and film thickness of each layer are designed so as to reflect only infrared light and transmit other visible light is deposited. By removing unnecessary portions of the deposited multilayer film by etching, the infrared reflection mirror 1a is formed. Further, a transparent layer is deposited thereon and shaped so that the upper surface is flat.
  • the light-transmitting plate 1 can be produced.
  • the produced translucent plate 1 may be bonded to the imaging surface of the imaging device 2 and integrated with the imaging device 2. Therefore, the imaging device provided with the light-transmitting plate 1 in the present embodiment may be manufactured, sold, etc. independently.
  • FIG. 4 shows a part of a photosensitive cell array composed of a plurality of photosensitive cells 10 arranged in a matrix in the imaging unit of the imaging device 2.
  • Each photosensitive cell 10 typically has a photodiode, and outputs a photoelectric conversion signal corresponding to the amount of received light by photoelectric conversion.
  • the depth estimation mode light incident on the image pickup device during exposure is imaged on the image pickup surface of the image pickup device 2 through the lens 3 and the light transmitting plate 1 and is photoelectrically converted by each light sensing cell 10.
  • the incident light is affected by the infrared reflecting mirrors 1a and 1b formed on the surface or inside of the light transmitting plate 1 as described below.
  • the photoelectric conversion signal output by each photosensitive cell 10 is sent to the signal processing unit 200 via the signal generation / reception unit 5.
  • the image processing unit 7 in the signal processing unit 200 generates an image based on the transmitted signal in the normal photographing mode. As a result, a normal image with no reduction in resolution can be obtained.
  • the image processing unit 7 calculates depth information by the following process. Note that normal image generation is performed by the image generation unit 7 a in the image processing unit 7, and depth information generation is performed by the depth information generation unit 7 b in the image processing unit 7.
  • the imaging apparatus captures one image in the normal shooting mode.
  • incident light directly enters the translucent plate 1 through the lens 3, but most of the infrared light component of the incident light is reflected by the infrared reflecting mirror 1b.
  • the infrared light component incident on the infrared reflection opening of the translucent plate 1 is directly incident on the photosensitive cell 10, or reflected by the infrared reflection mirror 1a, and further reflected by the infrared reflection mirror 1b.
  • an infrared reflection opening is provided at a rate of about one for every 20 pixels in both the x and y directions.
  • one pixel refers to a region where one photosensitive cell is arranged.
  • the thickness of the translucent plate 1 and the shape and position of the infrared reflection mirror 1a are designed so that the infrared light reflected by the infrared reflection mirrors 1a and 1b enters the range of 20 pixels. . Due to such an optical structure in the infrared reflection opening, there are many infrared light components just below the center, and the infrared light components also increase in the peripheral part due to reflection by the infrared reflection mirrors 1a and 1b.
  • the distance from the imaging device to the subject can be estimated by examining the radius of the annular image due to the infrared light component that appears around the infrared reflection aperture.
  • FIG. 5A the light beam (solid line) from the point 50 a on the subject 50 and the light beam (broken line) from the point 50 b located farther from the imaging device than the point 50 a are converged by the optical lens 3 and incident on the image sensor 2.
  • FIG. 5A the components other than the optical lens 3 and the image sensor 2 are omitted from the components of the imaging device.
  • FIG. 5B is a partially enlarged view of the vicinity of the imaging surface of the imaging device 2 in FIG. 5A.
  • the light ray (solid line) incident from the point 50a is focused at the position of the imaging surface on which the photosensitive cells 10 are arranged.
  • the light ray (broken line) incident from the point 50b is focused at a position closer to the subject than the position where the light sensing cell 10 and the translucent plate 1 are provided. For this reason, the way the infrared light is reflected by the infrared reflecting mirrors 1a and 1b is different between the two.
  • the focusing state of the light incident on the translucent plate 1 and the way it is reflected by the infrared reflecting mirrors 1a and 1b differ depending on the depth of the subject.
  • FIG. 5C is a conceptual diagram showing in more detail that the focusing state of light incident on the light transmitting plate 1 from one point of the subject and how it is reflected by the infrared reflecting mirrors 1a and 1b differ depending on the depth of the point of the subject. is there.
  • the light beam path when the incident light is narrowed down by the lens 3 and the imaging center is closer to the image sensor 2 side than the surface of the translucent plate 1 is indicated by a dotted line. In this case, the ray travels from x1 to x2. Further, in FIG.
  • the light beam path when the imaging center of the incident light is on the translucent plate 1 and the incident light can be considered to be incident substantially perpendicular to the upper surface of the translucent plate 1 is indicated by a dashed line. .
  • the ray travels from y1 to y2.
  • the light beam path when the imaging center of the incident light is on the subject side with respect to the light transmitting plate 1 is indicated by a two-dot chain line. In this case, the ray travels from z1 to z2.
  • the radius of the ring-shaped image by the infrared reflecting mirrors 1a and 1b varies depending on the imaging state of the incident light.
  • the depth of the subject can be obtained using the correspondence relationship.
  • Information defining such a correspondence relationship can be stored in a recording medium such as the memory 30 in advance.
  • the depth information generation unit 7b detects a ring-shaped image from the image obtained by imaging, and measures the radius thereof, so that the information from the imaging device to the subject is based on the measured radius and the information indicating the correspondence relationship. The distance can be calculated.
  • the imaging device first captures one image and stores it in the memory 30. This image is referred to as IMGa. However, the image IMGb captured in the normal shooting mode immediately before entering the mode is also stored in the memory 30 in advance.
  • the image processing unit 7 performs inter-frame difference processing between the image IMGa and the image IMGb.
  • the imaging device 2 receives visible light and infrared light in a region facing the infrared reflection opening and its peripheral region, and receives only visible light in other regions. .
  • the image sensor 2 receives only visible light over the entire light receiving area.
  • the image IMGi by the infrared light incident from the infrared reflection opening can be detected by the inter-frame difference processing.
  • the image IMGi has high brightness just below the center of the infrared reflection opening, and a ring-shaped image appears around the center of the infrared reflection opening.
  • the depth information generation unit 7b in the image processing unit 7 detects a ring-shaped image and measures its radius, and creates a database that defines the relationship between the radius of the ring-shaped image created in advance and the distance from the imaging device to the subject. Referring to the distance to the subject.
  • the depth information generation unit 7b in the image processing unit 7 sends the position on the image IMGb corresponding to the position of each infrared reflection opening and the calculated depth information together with the image IMGb via the interface unit 8. Output.
  • the depth information generation unit 7b may generate and output a depth image obtained by imaging the distribution by obtaining the distribution of the depth of each point of the subject.
  • the imaging device performs imaging in the normal imaging mode, and generates a visible light image IMGb (step S61).
  • imaging is performed in the depth estimation mode, and a visible / infrared light image IMGa is generated (step S62).
  • the depth information generation unit 7b generates an infrared light image IMGi by performing an inter-frame difference calculation process between IMGa and IMGb (step S63).
  • the ring-shaped pattern is detected in IMGi and the radius of each ring-shaped pattern is measured (step S64).
  • the distance to the subject is obtained from the measured radius with reference to a database that defines a relationship between the radius and the subject distance prepared in advance (step S65).
  • the distance information of the subject is output (S66).
  • the first state in which the infrared cut filter 4 is inserted on the optical path (normal photographing mode) and the second state in which the infrared cut filter 4 is removed from the optical path thus, two consecutive imaging operations are performed.
  • This two-continuous imaging is realized by controlling the operations of the filter driving unit 4a and the element driving unit 6 by the signal generating / receiving unit 5 shown in FIG.
  • the imaging apparatus according to the present embodiment is characterized in that infrared light is used for calculation of depth information and visible light is used for normal image acquisition.
  • the depth information up to the subject can be calculated based on the detected shape and information defining the correspondence between the shape and the depth obtained in advance. Since the depth information amount is determined by the number of infrared reflection openings, the depth information increases as the number of infrared reflection openings increases, and the depth information decreases as the number decreases. In addition, the present embodiment has an effect that a normal image having no resolution reduction can be obtained together with depth information.
  • the present invention is not limited to such a configuration. Any configuration may be used as long as the light reflected by the infrared reflecting mirrors 1a and 1b is incident on the photosensitive cell group within a limited range.
  • the infrared reflection mirror 1b may be arranged in a limited region.
  • regions where the infrared reflection mirrors 1 a and 1 b are not provided may be transparent to infrared light or may have a light shielding property.
  • the infrared reflection opening is provided at a rate of about 20 pixels, but this is merely an example of a design value.
  • the infrared cut filter 4 is removed from the imaging optical system, and one image is taken in advance, but instead of the infrared cut filter 4, an infrared transmission filter that transmits only infrared light is taken. You may insert in an optical system. In that case, since the image IMGi is obtained directly, no prior image capturing or inter-frame difference processing is required. In this case, one or both of the infrared reflecting mirrors 1a and 1b need only have a property of reflecting infrared light, and may not have light transmittance.
  • the light transmissive plate 1 shown in FIGS. 8A and 8B may be used in addition to the configuration of the above embodiment.
  • 8A is a plan view of the light-transmitting plate 1
  • FIG. 8B is a cross-sectional view taken along line B-B ′ in FIG. 8A.
  • the entire infrared reflection opening is covered with the infrared reflection mirror 1a, and the shape of the infrared reflection mirror 1a is an umbrella shape. Even in such a shape, since a ring-shaped image is obtained by the reflected light of the infrared reflecting mirrors 1a and 1b, depth information can be calculated by the same processing.
  • a light-transmitting plate 1 having a cross-sectional structure shown in FIG. 9 or 10 may be used.
  • the infrared cut filter 4 is always inserted into the imaging optical system, the half mirror 1c is used, and the reflected light of the half mirror 1c is transmitted at the interface 1d between the translucent plate 1 and the external air layer. The light is totally reflected and is incident on the photosensitive cell 10. Since the portion of the light reflected by the half mirror 1c and incident on the photosensitive cell 10 has high brightness, depth information can be calculated by detecting that portion. However, in this case, since the image is an image affected by the half mirror 1c, the image is blurred.
  • the half mirror 1c corresponds to the first mirror
  • the interface 1d between the light transmitting plate 1 and the air layer corresponds to the second mirror.
  • the “mirror” in this specification does not necessarily need to be an optical system that transmits light in a specific wavelength range.
  • the inclined state of the infrared reflection mirror 1a is changed so that the reflected light of the infrared reflection mirrors 1a and 1b is condensed immediately below the infrared reflection mirror 1b.
  • the annular image appears inside the infrared reflection mirror 1a, but the depth information of the subject can be calculated by performing the same processing as described above.
  • an optical member that reflects light in other wavelength ranges may be used instead of the infrared reflecting mirrors 1a and 1b that reflect infrared light.
  • an optical filter that cuts light in the wavelength region is used instead of the infrared cut filter 4
  • depth information can be obtained by the same processing.
  • the infrared reflecting mirror 1a when the infrared reflecting mirror 1a is projected onto a plane parallel to the upper surface of the light transmissive plate 1, a circular or ring shape is formed, but such a shape is not necessarily required.
  • the shape of the infrared reflection mirror 1a may be, for example, an inclined flat plate shape or a stripe shape.
  • the infrared reflecting mirrors 1a and 1b when projected onto a plane parallel to the upper surface of the light transmitting plate 1, the infrared reflecting mirror 1b does not need to be positioned so as to surround the infrared reflecting mirror 1a. Any arrangement may be used as long as reflection of light by both occurs.
  • the depth of the subject is obtained by detecting the radius of the area on the imaging surface irradiated by the light flux reflected by the two mirrors, but it is not necessarily based on the radius of the area.
  • the depth may be obtained based on the area and the number of photosensitive cells instead of the radius.
  • the translucent plate 1 is configured so that the shape of the region or the distribution of the amount of received light correlates with the depth, if the correspondence between the shape and the depth is examined in advance, the size of the region is not It is also possible to obtain the depth based on the distribution of the shape and the amount of received light.
  • the region irradiated with the light flux from one point of the subject can be evaluated by the intensity of the photoelectric conversion signals output from the plurality of photosensitive cells.
  • the shape and size of the irradiation region can be detected by the distribution of photosensitive cells that output photoelectric conversion signals having a certain intensity or higher.
  • the received light amount distribution in the irradiation region can be obtained from the signal intensity distribution.
  • the image processing unit 7 incorporated in the imaging apparatus performs image processing.
  • another apparatus independent of the imaging apparatus may execute the image processing.
  • a signal that is acquired by the imaging device having the imaging unit 100 in each of the above embodiments is input to another device (image processing device), and a program that defines the signal calculation processing is incorporated in the image processing device.
  • image processing device image processing device
  • a program that defines the signal calculation processing is incorporated in the image processing device.
  • the imaging apparatus may not include an image processing unit.
  • the image pickup apparatus includes an image pickup element in which a plurality of photosensitive cells are arranged on the image pickup surface, an optical lens arranged so as to collect light on the image pickup surface of the image pickup element, and a transparent member arranged on the image pickup surface.
  • the optical member includes a signal processing unit that processes signals output from the plurality of photosensitive cells.
  • the translucent member has a light beam splitting region that divides a light beam in a specific wavelength range incident from a part of a subject through an optical lens into at least three light beams.
  • the beam splitting region is composed of at least three partial regions including a first partial region, a second partial region, and a third partial region.
  • the light beam splitting region has a first mirror and a second mirror inside thereof, and a third mirror on the upper surface thereof.
  • the “upper surface” refers to the surface on the opposite side of the surface of the translucent member from the side on which the image sensor is present.
  • the first to third mirrors have the same reflection characteristics and are designed to reflect light in a specific wavelength range.
  • the “specific wavelength range” is, for example, a wavelength range of infrared light whose lower limit is longer than 650 nm, but may be a wavelength range of visible light.
  • the first mirror is provided in the first partial area
  • the second mirror is provided in the second partial area.
  • the reflection surfaces of the first and second mirrors are inclined with respect to the upper surface of the light beam splitting region.
  • the reflecting surface of the third mirror is parallel to the upper surface of the light beam splitting region.
  • the light beam in the specific wavelength region that has entered the light beam splitting region of the imaging apparatus configured as described above from a part of the subject through the optical lens follows the following path. At least a part of the light beam incident on the first partial region of the light beam splitting region is first reflected by the first internal mirror and then reflected by the third mirror on the upper surface to irradiate the first photosensitive cell group. To do. At least a part of the light beam incident on the second partial region of the light beam splitting region is first reflected by the internal second mirror and further reflected by the third mirror on the upper surface to irradiate the second photosensitive cell group. To do.
  • the first to third photosensitive cell groups are typically a plurality of photosensitive cells located in regions on the imaging surface that respectively oppose the first to third partial regions. In order to prevent photoelectric conversion signals from overlapping, it is preferable that the first to third photosensitive cell groups do not overlap each other.
  • the first to third mirrors are arranged so that the received light amount distributions detected by the first to third photosensitive cell groups are different from each other. That is, as a result of the light beams incident on one light beam splitting region through the optical lens from the same subject point being subjected to different reflection effects in the first partial region, the second partial region, and the third partial region, The spatial distribution of the amount of light changes. This appears as a result that the number of cells, the shape of the irradiation area, the peak value of the output, the average value of the output, the dispersion of the output, and the like are different for the first to third photosensitive cell groups, for example.
  • the received light amount distribution detected by each photosensitive cell group changes according to the depth of a part of the subject. This is because if the depth of the part of the subject is different, the incident angle of the light incident on the light beam splitting region is different, and as a result, the traveling direction of the light reflected by each reflection mirror is different. This means that there is a correlation between the received light amount distribution detected by each photosensitive cell group and the depth.
  • the component by extracting the component of the light reflected and incident by the first to third mirrors from the light incident on the imaging surface of the image sensor and photoelectrically converted, the component is irradiated with the light of the component.
  • the received light amount distribution, the peak value, etc. of each of the detected photosensitive cell groups are detected.
  • information depth information indicating the depth of the subject can be obtained. Specific processing for generating depth information will be described later.
  • the imaging apparatus itself includes an image processing unit, and generates information (depth information) indicating the depth of the subject.
  • depth information information indicating the depth of the subject.
  • the other apparatus can generate depth information by sending a photoelectric conversion signal acquired by imaging to the other apparatus.
  • an imaging apparatus that does not generate depth information itself but provides information for generating depth information is also referred to as a “depth estimation imaging apparatus”.
  • the overall configuration of the imaging apparatus in the present embodiment is the same as the configuration shown in FIG.
  • the configuration of the translucent plate 1 and the processing by the image processing unit 7 are different from those in the first embodiment.
  • the description will focus on the differences from the first embodiment, and description of the same matters will be omitted.
  • FIG. 11A is a plan view showing a configuration of a part of the translucent plate 1. Most of the surface of the translucent plate 1 is covered with an infrared reflecting mirror 1b, and has a circular or ring shaped infrared reflecting opening that is not partially covered with the infrared reflecting mirror 1b.
  • the translucent plate 1 in the present embodiment is a set of a plurality of light beam dividing regions 1u. In the following description, it is assumed that a light beam that can be regarded as being substantially uniform from a part of the subject through the optical lens 3 enters one light beam splitting region 1u.
  • the light beam splitting region 1u in this embodiment is designed to divide a light beam in the infrared wavelength region included in the light beam into four partial light beams and irradiate different photosensitive cell groups.
  • the translucent plate 1 is made of a transparent glass material and is mounted on a plurality of photosensitive cells of the image sensor 2.
  • the translucent plate 1 is not limited to glass, and may be formed of any material as long as it is a translucent member.
  • FIG. 11B is a plan view showing one light beam splitting region 1 u of the translucent plate 1.
  • the beam splitting region 1u is composed of four partial regions, which are arranged in 2 rows and 2 columns. In FIG. 11B, the four partial regions are shown separated by dotted lines, but in reality, such a boundary does not clearly exist.
  • an infrared reflection mirror 1b having a ring-shaped first infrared reflection opening is disposed on the upper surface, and the first partial region 1u-1 is disposed in the first partial region 1u-1.
  • An infrared reflection mirror 1a-1 that reflects infrared light that has passed through one infrared reflection opening is disposed.
  • an infrared reflection mirror 1b having a ring-shaped second infrared reflection opening of a size different from the above is disposed on the upper surface thereof.
  • an infrared reflection mirror 1a-2 for reflecting the infrared light that has passed through the second infrared reflection opening is disposed therein.
  • the third partial region 1u-3 located in the first row and first column and the fourth partial region 1u-4 located in the second row and second column have the same pattern.
  • an infrared reflection mirror 1b having a circular infrared reflection opening is disposed on the upper surfaces of the third partial region 1u-3 and the fourth partial region 1u-4.
  • FIG. 11C is a cross-sectional view taken along line AA ′ in FIG. 11B.
  • the right half of the translucent plate 1 is the first partial region 1u-1
  • the left half is the third partial region 1u-3.
  • a ring-shaped infrared reflecting mirror 1a-1 having a reflecting surface inclined with respect to the upper surface is arranged inside the first partial region 1u-1.
  • the infrared reflection filter 1a-1 is designed to have an inclination angle and a depth from the upper surface so that the reflected infrared light is directed toward the infrared reflection mirror 1b surrounded by the first infrared reflection opening. ing.
  • the infrared light reflected by the infrared reflecting mirror 1 a-1 is further reflected by the portion of the infrared reflecting mirror 1 b and is incident on a part of the plurality of photosensitive cells 10 of the image sensor 2.
  • no reflecting mirror is provided in the third partial region 1u-3. Therefore, the infrared light that has passed through the circular infrared reflection opening in the third partial region 1u-3 irradiates a part of the plurality of photosensitive cells 10 without being reflected thereafter.
  • FIG. 11D is a cross-sectional view taken along line BB ′ in FIG. 11B.
  • the left half of the translucent plate 1 is the second partial region 1u-2
  • the right half is the fourth partial region 1u-4.
  • a ring-shaped infrared reflection mirror 1a-2 whose reflection surface is inclined with respect to the upper surface is disposed inside the second partial region 1u-2.
  • the infrared reflection filter 1a-2 is designed to have an inclination angle and a depth from the upper surface so that the reflected infrared light is directed toward the infrared reflection mirror 1b surrounded by the second infrared reflection opening. ing.
  • the infrared light reflected by the infrared reflecting mirror 1 a-2 is further reflected by the corresponding part of the infrared reflecting mirror 1 b and enters a part of the plurality of photosensitive cells 10 of the image sensor 2.
  • no reflecting mirror is provided in the fourth partial region 1u-4. Therefore, the infrared light that has passed through the circular infrared reflection opening in the fourth partial region 1u-4 irradiates a part of the plurality of photosensitive cells 10 without being reflected thereafter.
  • the infrared reflection mirrors 1a-1, 1a-2, and 1b function as the first, second, and third mirrors, respectively.
  • each of the first to third mirrors may be divided into a plurality of portions.
  • Each of the infrared reflection mirrors 1a-1, 1a-2, 1b has a characteristic of mainly reflecting infrared light and transmitting visible light in other wavelength regions.
  • infrared light refers to electromagnetic waves having a wavelength longer than 650 nm, for example.
  • the translucent plate 1 including the infrared reflecting mirrors 1a-1, 1a-2, and 1b shown in FIGS. 11C and 11D is manufactured by performing thin film deposition and patterning by a known lithography and etching technique. obtain. For example, first, two types of conical concave portions are formed in a predetermined pattern at predetermined positions on the transparent substrate. Next, a dielectric multilayer film in which the refractive index and film thickness of each layer are designed so as to reflect only infrared light and transmit other visible light is deposited. Infrared reflecting mirrors 1a-1 and 1a-2 are formed by removing unnecessary portions of the deposited multilayer film by etching. Further, a transparent layer is deposited thereon and shaped so that the upper surface is flat.
  • a dielectric multilayer film having the same reflection / transmission characteristics as the infrared reflection mirrors 1a-1 and 1a-2 is formed except for the region on the infrared reflection mirrors 1a-1 and 1a-2.
  • the infrared reflection mirror 1b is formed.
  • the infrared cut filter 4 in the normal photographing mode in which the infrared cut filter 4 is inserted in the optical path and photographed, the light incident on the imaging device during exposure is imaged through the lens 3, the infrared cut filter 4, and the translucent plate 1. An image is formed on the imaging surface of the element 2 and is photoelectrically converted by each photosensitive cell 10.
  • the incident light since the infrared light component is removed by the infrared cut filter 4, the incident light is applied to the infrared reflecting mirrors 1a-1, 1a-2, 1b provided on the surface or inside of the light transmitting plate 1. It is photoelectrically converted without being affected.
  • the infrared cut filter 4 is removed from the optical path and imaged
  • the light incident on the imaging device during exposure is imaged on the imaging surface of the imaging device 2 through the lens 3 and the translucent plate 1.
  • Photoelectric conversion is performed by each photosensitive cell 10.
  • incident light is reflected on the surface or inside of the light-transmitting plate 1 as described below, and the infrared reflection mirrors 1a-1, 1a-2, 1b. The influence by appears.
  • the photoelectric conversion signal output by each photosensitive cell 10 is sent to the signal processing unit 200 via the signal generation / reception unit 5.
  • the image processing unit 7 in the signal processing unit 200 generates an image based on the transmitted signal in the normal photographing mode. As a result, a normal image with no reduction in resolution can be obtained.
  • the image processing unit 7 calculates depth information by the following process. Note that normal image generation is performed by the image generation unit 7 a in the image processing unit 7, and depth information generation is performed by the depth information generation unit 7 b in the image processing unit 7.
  • the imaging apparatus captures one image in the normal shooting mode.
  • incident light directly enters the light-transmitting plate 1 through the lens 3, but most of the infrared light component of the incident light is reflected by the infrared reflecting mirror 1b.
  • the infrared light component incident on the infrared reflection opening of the translucent plate 1 is directly incident on the light sensing cell 10 or reflected by the infrared reflection mirrors 1a-1 and 1a-2, and further the infrared reflection mirror. The light is reflected by 1b and enters the photosensitive cell 10.
  • the size of one light beam splitting region that is a basic unit of the light transmitting plate 1 is, for example, about 20 pixels in each of the x and y directions.
  • the size of one light beam splitting region is not limited to the above example, and any size may be used as long as infrared light transmitted through each partial region irradiates a plurality of photosensitive cells.
  • the thickness of the translucent plate 1 and the shape of the infrared reflecting mirrors 1a-1, 1a-2 are set so that the infrared light reflected by the infrared reflecting mirrors 1a-1, 1a-2, 1b enters the range. And the position is set. Due to such an optical structure in the infrared reflection opening, a large amount of infrared light component is detected immediately below the center.
  • the partial regions of the first row and the first column and the second row and the second column of one light beam splitting region have the same structure, and no infrared reflection filter is provided therein.
  • the partial region in the first row and the second column and the second row and the first column have infrared reflection filters 1a-1 and 1a-2 inside thereof, and their shapes and arrangements are different.
  • the pattern of the first row and the second column has a shorter imaging point than the pattern of the first row and the first column.
  • the pattern of the second row and first column has a longer imaging point than the pattern of the first row and first column.
  • the distance from them to the subject can be estimated.
  • the closer the imaging point is to the photosensitive cell the greater the signal amount. Therefore, the images are output from the first to third photosensitive cell groups respectively facing the first to third partial regions.
  • the peak value of the signal amount is different from each other. Further, if the depth of the subject is different, the ratio of the peak values of the signal amounts also changes. Therefore, in the present embodiment, the correspondence between the peak value of the photoelectric conversion signal output from the photosensitive cell group facing each partial region and the distance from the imaging device to the subject is examined in advance by experiments and simulations, Information indicating these relationships is stored in a database.
  • Such a database may be stored in a recording medium such as the memory 30.
  • the depth information generation unit 7b can observe the three types of imaging states based on the photoelectric conversion signal, and can estimate the depth of the subject according to the correspondence relationship obtained in advance.
  • the database includes, for example, “a peak value of a pixel signal from the first photosensitive cell group: a peak value of a pixel signal from the second photosensitive cell group: a peak of a pixel signal from the third photosensitive cell group.
  • Information indicating a ratio such as “value: depth”.
  • the third partial region 1u-3 and the fourth partial region 1u-4 have the same structure, the light sensing located in the region on the imaging surface facing them. The average value of the cell signal is used.
  • FIG. 12 is a conceptual diagram showing that the focusing state of light incident on the first partial region 1u-1 from a part of the subject varies depending on the depth of the part of the subject.
  • the light beam path when the incident light is narrowed down by the lens 3 and the imaging center is on the image pickup device 2 side from the light transmitting plate 1 is indicated by a dotted line.
  • the ray travels from x1 to x2.
  • a light ray path when the imaging center of incident light is on the translucent plate 1 and the incident light can be considered to be incident substantially perpendicular to the upper surface of the translucent plate 1 is indicated by a one-dot chain line.
  • the ray travels from y1 to y2.
  • a light beam path when the imaging center of the incident light is above the translucent plate 1 is indicated by a two-dot chain line.
  • the ray travels from z1 to z2. Since these light beams have different light quantity distributions on the imaging surface of the image sensor 2, the received light quantity distributions detected by the photosensitive cell groups are also different.
  • the received light amount distribution of the photosensitive cell group irradiated with the infrared light incident on one partial region through the optical lens 3 from a part of the subject differs depending on the depth of the part of the subject.
  • the imaging device first captures one image and stores it in the memory 30. This image is referred to as IMGa. However, the image IMGb captured in the normal shooting mode immediately before entering the mode is also stored in the memory 30 in advance.
  • the image processing unit 7 performs inter-frame difference processing between the image IMGa and the image IMGb.
  • the imaging device 2 receives visible light and infrared light in a region facing the infrared reflection opening and its peripheral region, and receives only visible light in other regions. .
  • the image sensor 2 receives only visible light over the entire light receiving area.
  • the depth information generation unit 7b in the image processing unit 7 measures a photoelectric conversion signal immediately below each partial region, and represents a relationship between the peak value of the pixel signal created in advance and the distance from the imaging device to the subject. To the distance to the subject. Further, the depth information generation unit 7b in the image processing unit 7 outputs the position on the image IMGb corresponding to the position of each infrared reflection opening and the calculated depth information together with the image IMGb via the interface unit 8. To do.
  • the depth information generation unit 7b may generate and output a depth image obtained by imaging the distribution by obtaining a distribution of the depth of each point of the subject.
  • the imaging device performs imaging in the normal imaging mode, and generates a visible light image IMGb (step S131).
  • imaging is performed in the depth estimation mode, and a visible / infrared light image IMGa is generated (step S132).
  • the depth information generation unit 7b generates an infrared light image IMGi by performing an inter-frame difference calculation process between IMGa and IMGb (step S133).
  • the peak value of the signal in IMGi is measured (step S134).
  • the distance to the subject is obtained from the measured peak value with reference to a database that defines the relationship between the peak value and the subject distance prepared in advance (step S135).
  • the distance information of the subject is output (S136).
  • the first state in which the infrared cut filter 4 is inserted on the optical path (normal photographing mode) and the second state in which the infrared cut filter 4 is removed from the optical path thus, two consecutive imaging operations are performed.
  • This two-continuous imaging is realized by controlling the operations of the filter driving unit 4a and the element driving unit 6 by the signal generating / receiving unit 5 shown in FIG.
  • the imaging apparatus according to the present embodiment is characterized in that infrared light is used for calculation of depth information and visible light is used for normal image acquisition.
  • the infrared reflection mirror 1 b On the image pickup surface of the image pickup device 2, most of the upper surface is covered with the infrared reflection mirror 1 b and has a plurality of infrared reflection openings in which the infrared reflection mirrors 1 a-1 and 1 a-2 are arranged.
  • the depth information can be calculated based on the received light amount distribution detected by the photosensitive cell group corresponding to each partial region of the light transmitting plate 1. Since the depth information amount is determined by the number of light beam splitting regions 1u, the depth information increases as the number of light beam splitting regions 1u increases.
  • the present embodiment has an effect that a normal image having no resolution reduction can be obtained together with depth information.
  • the infrared cut filter 4 is removed from the imaging optical system, and one image is captured in advance.
  • red that transmits only infrared light instead of the infrared cut filter 4 is used.
  • An external transmission filter may be inserted into the imaging optical system.
  • the infrared reflection mirrors 1a-1, 1a-2, and 1b need only have the property of reflecting infrared light, and do not have to have optical transparency.
  • an optical member that reflects light in other wavelength ranges may be used instead of the infrared cut filter 4.
  • an optical filter that cuts light in the wavelength region is used instead of the infrared cut filter 4
  • depth information can be obtained by the same processing.
  • the infrared reflection mirrors 1a-1 and 1a-2 projected on a plane parallel to the upper surface of the translucent plate 1 have a ring shape, but it is not always necessary to have such a shape. For example, it may be flat. Further, when the infrared reflecting mirrors 1a-1, 1a-2, 1b are projected onto a plane parallel to the upper surface, the infrared reflecting mirror 1b surrounds the infrared reflecting mirrors 1a-1, 1a-2. It is not necessary to be positioned, and any arrangement may be used as long as reflection of light by these occurs.
  • the depth information of a part of the subject is obtained based on the ratio of the peak value of the received light amount detected by the photosensitive cell group corresponding to each partial region of the light beam splitting region 1u, but based on other information Depth information may be obtained.
  • Depth information may be obtained.
  • the depth of each point of the subject may be obtained from the ratio of the radii of each ring-shaped image.
  • the received light amount distribution itself detected by each photosensitive cell group may be used.
  • the depth may be obtained from the average value or dispersion of the amount of light received detected by each photosensitive cell group. In that case, information defining the correspondence between the received light amount distribution detected by each photosensitive cell group and the depth may be obtained in advance.
  • the translucent plate 1 has a plurality of light beam splitting regions 1u arranged in a two-dimensional manner, but the translucent plate 1 has at least one light beam splitting region 1u. That's fine. If one light beam splitting region is provided, the depth of one point of the subject can be obtained. Further, one beam splitting region 1u does not need to have a 2 ⁇ 2 array as shown in FIG. 11B, and may be an arbitrary array. Further, one light beam splitting region 1u does not have to be divided into four partial regions, and may be divided into at least three partial regions.
  • the image processing unit 7 incorporated in the imaging apparatus performs image processing.
  • another apparatus independent of the imaging apparatus may execute the image processing.
  • a signal that is acquired by the imaging device having the imaging unit 100 in each of the above embodiments is input to another device (image processing device), and a program that defines the signal calculation processing is incorporated in the image processing device.
  • image processing device image processing device
  • a program that defines the signal calculation processing is incorporated in the image processing device.
  • the imaging apparatus may not include an image processing unit.
  • the imaging apparatus according to the embodiment of the present invention is effective for all cameras using an imaging element.
  • it can be used for consumer cameras such as digital cameras and digital video cameras, and industrial solid-state surveillance cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Blocking Light For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　本発明の一態様に係る奥行き推定撮像装置は、複数の光感知セル１０が撮像面に配列された撮像素子２と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材１と、複数の光感知セル１０から出力される信号を処理する信号処理部とを備えている。透光性部材１は、少なくとも一部の光を反射する第１のミラー１ａを内部に有し、第１のミラー１ａと同一の反射特性を有する第２のミラー１ｂを上面に有している。第１のミラー１ａの反射面は、透光性部材１の上面に対して傾斜している。第２のミラー１ｂの反射面は、前記上面に平行である。第１のミラー１ａおよび第２のミラー１ｂは、被写体の一点から前記光学レンズを通して入射した光束が、第１のミラー１ａで反射され、さらに第２のミラー１ｂで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の一点の奥行きに応じて、照射される前記領域が異なるように配置されている。

Description

奥行き推定撮像装置および撮像素子
　本願は１つの光学系と１つの撮像素子とを用いて被写体の奥行き情報を取得する単眼の３次元撮像技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がり、さらには、被写体の奥行きを推定できる撮像装置も開発され始めている。
　被写体の奥行き情報の取得に関して、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術が存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。
　ライトフィールドカメラでは、奥行き情報を算出することができるが、マイクロレンズの数によって解像度が決まるため、撮像素子の画素数から決まる解像度よりも解像度が低下するという課題がある。その課題に対して、特許文献１には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。
　また、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献２に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられる。マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。
特開平１１－９８５３２号公報 特開２００８－１６７３９５号公報
Ｒｅｎ　Ｎｇ，ｅｔ　ａｌ，"Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ　ｗｉｔｈ　ａ　Ｈａｎｄ－ｈｅｌｄ　Ｐｌｅｎｏｐｔｉｃ　Ｃａｍｅｒａ"，　Ｓｔａｎｆｏｒｄ　Ｔｅｃｈ　Ｒｅｐｏｒｔ　ＣＴＳＲ　２００５－０２
　本発明の実施形態は、従来技術とは異なる構成を有する撮像素子を用いて、奥行き情報を取得し得る撮像技術を提供する。
　本発明の一態様による奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、を備える。前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、前記第２のミラーの反射面は、前記上面に平行である。前記第１のミラーおよび前記第２のミラーは、被写体の一点から前記光学レンズを通して入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の一点の奥行きに応じて、照射される前記領域が異なるように配置されている。
　本発明の他の態様による奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、被写体の一部から前記光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、を備えている。前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１のミラーと同一の反射特性を有する第３のミラーを有している。前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、前記第３のミラーの反射面は、前記上面と平行である。前記第１のミラー、前記第２のミラー、および前記第３のミラーは、前記被写体の前記一部から前記光学レンズを通して前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている。
　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
　本発明の実施形態によれば、従来とは異なる撮像素子を用いて被写体の奥行きを示す情報を得ることができる。特に、赤外光を反射し、可視光を透過させるミラーと、赤外カットフィルタとを組み合わせた実施形態によれば、赤外光によって奥行き情報を算出でき、可視光によって解像度低下のない通常の画像を得ることができる。すなわち、単眼カメラで奥行き情報と通常の画像とを得ることが可能となる。
例示的な実施形態１における撮像装置の構成図である。 例示的な実施形態１における撮像部の模式図である。 例示的な実施形態１における透光板の平面図である。 例示的な実施形態１における透光板のＡ－Ａ’線断面図である。 例示的な実施形態１における撮像素子の平面図である。 例示的な実施形態１における撮像の原理を説明するための模式図である。 図５Ａの部分拡大図である。 例示的な実施形態１における透光板への光の入射の様子を示す概念図である。 例示的な実施形態１における撮影動作を示すフローチャートである。 例示的な実施形態１における透光板の第１の変形例を示す平面図である。 例示的な実施形態１における透光板の第２の変形例を示す平面図である。 図４ＡにおけるＢ－Ｂ’線断面図である。 例示的な実施形態１における透光板の第３の変形例を示す断面図である。 例示的な実施形態１における透光板の第４の変形例を示す断面図である。 例示的な実施形態２における透光板の平面図である。 例示的な実施形態２における透光板の基本構成を示す平面図である。 例示的な実施形態２における透光板のＡ－Ａ’線断面図である。 例示的な実施形態２における透光板のＢ－Ｂ’線断面図である。 例示的な実施形態２における透光板への光入射の様子を示す概念図である。 例示的な実施形態２における撮影動作を示すフローチャートである。
　本発明の例示的な実施形態の概要は以下のとおりである。
　本発明の一態様に係る奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部とを備える。前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、前記第２のミラーの反射面は、前記上面に平行であり、前記第１のミラーおよび前記第２のミラーは、被写体の一点から前記光学レンズを通して入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている。
　ある態様において、前記信号処理部は、前記複数の光感知セルから出力される光電変換信号に基づいて前記光束によって照射された前記領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部をさらに備えている。
　ある態様において、前記奥行き情報生成部は、予め用意された、前記光束によって照射された前記領域のサイズと、前記被写体の前記一点の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する。
　ある態様において、前記透光性部材の上面に平行な面に投影された前記第１のミラーの形状は、リング状または円状である。
　ある態様において、前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラーを囲むように位置している。
　ある態様において、前記透光性部材は、前記第１のミラーを含む同一の反射特性、形状、および前記上面に対する傾斜角を有する複数のミラーからなる第１ミラー群を内部に有し、前記第１ミラー群の各ミラーは、各ミラーによって反射された光束が、前記第２ミラーによってさらに反射され、前記撮像面の互いに異なる領域を照射するように配置されている。
　ある態様において、前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラー群の各ミラーを囲むように位置している。
　ある態様において、前記第１のミラーおよび前記第２のミラーの少なくとも一方は、光透過性を有している。
　ある態様において、前記第１のミラーおよび前記第２のミラーは、特定の波長域の光を反射させ、その他の波長域の可視光を透過させる特性を有している。
　ある態様において、前記奥行き推定撮像装置は、前記特定の波長域の光をカットする光学フィルタと、前記光学フィルタを前記被写体から前記撮像素子までの光路上に着脱することができるフィルタ駆動部とをさらに備えている。
　ある態様において、前記奥行き推定撮像装置は、前記光学フィルタが前記光路上に挿入された第１の状態と、前記光学フィルタが前記光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている。
　ある態様において、前記信号処理部は、前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、前記第１の状態において前記複数の光感知セルから出力された光電変換信号と、前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記特定の波長域の光によって照射された前記撮像面の領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部とを有している。
　ある態様において、前記特定の波長域の光は赤外光である。
　ある態様において、前記特定の波長域の下限は、６５０ｎｍよりも長い。
　本発明の他の態様に係る撮像素子は、複数の光感知セルが２次元的に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置された透光性部材とを備える。前記透光性部材は、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する。前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、前記第２のミラーの反射面は、前記上面に平行である。前記第１のミラーおよび前記第２のミラーは、被写体の一点から入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記光感知セルアレイの一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている。
　本発明の他の態様に係る奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、被写体の一部から前記光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部とを備える。前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有する。前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、前記第３のミラーの反射面は、前記上面と平行である。前記第１のミラー、前記第２のミラー、および前記第３のミラーは、前記被写体の前記一部から前記光学レンズを通して前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている。
　ある態様において、前記信号処理部は、前記第１から第３の光感知セル群から出力される光電変換信号に基づいて、前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部を有している。
　ある態様において、前記奥行き情報生成部は、予め用意された、前記第１から第３の光感知セル群の各々によって検知される受光量のピーク値または受光量分布と、前記被写体の前記一部の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する。
　ある態様において、前記光束分割領域は、形状および大きさが互いに等しい前記第１の部分領域、前記第２の部分領域、前記第３の部分領域、および第４の部分領域から構成され、前記第３のミラーは、前記第３および第４の部分領域の上面に同じパターンで配置されている。
　ある態様において、前記光束分割領域の上面に垂直な方向から見たとき、前記第１から第４の部分領域は、２行２列に配列されている。
　ある態様において、前記第１の部分領域は、１行２列目に位置し、前記第２の部分領域は、２行１列目に位置し、前記第３の部分領域は、１行１列目に位置し、前記第４の部分領域は、２行２列目に位置している。
　ある態様において、前記第３のミラーは、各部分領域の上面において、円状またはリング状の開口部を有している。
　ある態様において、前記第３のミラーは、前記第１の部分領域の上面において、リング状の第１の開口部を有し、前記第２の部分領域の上面において、前記第１の開口部とは大きさの異なるリング状の第２の開口部を有し、前記第３の部分領域の上面において、円状の開口部を有している。
　ある態様において、前記第１のミラーは、前記第１の開口部を通して入射した光束を反射し、前記第１の開口部によって囲まれた前記第３のミラーの部分に向けるように配置され、前記第２のミラーは、前記第２の開口部を通して入射した光束を反射し、前記第２の開口部によって囲まれた前記第３のミラーの部分に向けるように配置されている。
　ある態様において、前記特定の波長域は、赤外光の波長域である。
　ある態様において、前記特定の波長域の下限は、６５０ｎｍよりも長い。
　ある態様において、前記第１から第３のミラーは、前記特定の波長域以外の可視光を透過させる特性を有している。
　ある態様において、前記透光性部材は、前記光束分割領域を含む同一構造の複数の光束分割領域を有している。
　ある態様において、前記奥行き推定撮像装置は、前記特定の波長域の光をカットする光学フィルタと、前記光学フィルタを光路上に着脱することができるフィルタ駆動部とをさらに備えている。
　ある態様において、前記奥行き推定撮像装置は、前記光学フィルタが光路上に挿入された第１の状態と、前記光学フィルタが光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている。
　ある態様において、前記信号処理部は、前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、前記第１の状態において前記複数の光感知セルから出力された光電変換信号と前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部とを有している。
　本発明の他の態様に係る撮像素子は、複数の光感知セルが２次元的に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置された透光性部材であって、被写体の一部から入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材とを備える。前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有する。前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、前記第３のミラーの反射面は、前記上面と平行である。前記第１のミラー、前記第２のミラー、および前記第３のミラーは、前記被写体の前記一部から前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、前記被写体の前記一部から前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、前記被写体の前記一部から前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている。
　以下、添付の図面を参照しながら、本発明のより具体的な実施形態を説明する。以下の説明において、同一または対応する要素には同一の符号を付している。
　（実施形態１）
　まず、第１の実施形態による奥行き推定撮像装置（以下、単に「撮像装置」と呼ぶ。）を説明する。本実施形態の詳細を説明する前に、まず本実施形態の基本概念を簡単に説明する。
　本実施形態による撮像装置は、撮像面に複数の光感知セルが配列された撮像素子と、撮像素子の撮像面に集光するように配置された光学レンズと、撮像面上に配置された透光性部材と、複数の光感知セルから出力された信号を処理する信号処理部とを備えている。透光性部材は、その内部および上面に、それぞれ第１のミラーと第２のミラーとを有している。ここで「上面」とは、透光性部材の表面のうち、撮像素子がある側とは反対側の表面を指す。第１のミラーおよび第２のミラーは、入射光の一部を反射するように設計されている。これらのミラーは、典型的には、特定の波長域の光を反射させ、他の波長域の光を透過させる特性を有するが、ハーフミラーのように、波長域によらず光を分離するミラーであってもよい。第１のミラーは、透光性部材の内部に設けられ、その反射面は、透光性部材の上面に対して傾斜している。第２のミラーは、その反射面が、透光性部材の上面に平行になるように透光性部材上に配置されている。
　このように構成された撮像装置に被写体の一点から光が入射すると、光学レンズを透過した光の一部は、第１のミラーでまず反射され、第２のミラーでさらに反射され、撮像素子の撮像面の一部の領域を照射する。ここで、照射される領域は、当該被写体の一点の奥行き、即ち、撮像装置からの距離に依存する。これは、奥行きが異なると、透光性部材に入射する光の入射角が異なり、その結果、第１および第２のミラーで反射される光の進行方向が異なるからである。
　本実施形態では、撮像素子の撮像面に入射して光電変換される光のうち、第１および第２のミラーによって反射されて入射した光の成分を抽出することにより、当該成分の光によって照射された領域の形状やサイズが検出される。検出結果を解析することにより、被写体の奥行きを示す情報を得ることができる。奥行き情報を生成する具体的な処理については後述する。
　本実施形態では、撮像装置自身が画像処理部を備え、被写体の奥行きを示す情報（奥行き情報）を生成する。しかし、撮像装置自身が奥行き情報を生成しない場合であっても、撮像によって取得した光電変換信号（以下、「画素信号」と呼ぶこともある。）を他の装置に送ることにより、当該他の装置が奥行き情報を生成することが可能である。本明細書では、そのような、自身は奥行き情報自体を生成しないが、奥行き情報を生成するための情報を提供する撮像装置も、「奥行き推定撮像装置」と呼ぶ。
　以下、本実施形態のより具体的な構成および動作を説明する。
　図１は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。撮像装置は、静止画のみならず動画を生成する機能を備えていてもよい。
　撮像部１００は、撮像面上に配列された複数の光感知セルから構成される光感知セルアレイを備える固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、赤外光を反射させるミラー（以下、「赤外反射ミラー」と呼ぶ。）が配置された透光板１と、撮像素子２の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４と、赤外カットフィルタ４を光学レンズ３および透光板１の間に出し入れするフィルタ駆動部４ａとを備えている。なお、透光板１は撮像素子２の撮像面上に装着されている。本実施形態では透光板１が上記の透光性部材として機能する。撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。なお、フィルタ駆動部４ａが赤外カットフィルタ４を挿入する位置は、必ずしも光学レンズ３と透光板１との間である必要はなく、被写体から撮像素子２までの光路上の任意の位置に着脱できるように赤外カットフィルタ４を駆動するように構成されていればよい。
　信号処理部２００は、撮像部１００から出力された信号を処理して解像度の低下のない通常画像および被写体の奥行き情報を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、通常画像を生成する画像生成部７ａと、奥行き情報を生成する奥行き情報生成部７ｂとを有している。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、透光板１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。
　以下、撮像部１００の構成をより詳細に説明する。説明の中で、撮像領域の位置や方向を説明する場合は、図中に示すｘｙｚ座標を用いる。撮像素子１０の撮像面を「ｘｙ平面」とし、撮像面における水平方向に「ｘ軸」、撮像面における垂直方向に「ｙ軸」、撮像面に垂直な方向に「ｚ軸」をとる。なお、「水平方向」および「垂直方向」とは、生成される画像の横方向および縦方向にそれぞれ対応する撮像面上の方向を意味する。
　図２は、撮像部１００におけるレンズ３、赤外カットフィルタ４、透光板１、および撮像素子２の配置関係を模式的に示す図である。撮像の際、赤外カットフィルタ４は、フィルタ駆動部４ａによってｘ方向にシフトされる。赤外カットフィルタ４が透光板１上の領域に入ったときには、撮像素子２への入射光の赤外光成分は除去される。逆に、赤外カットフィルタ４が当該光学系の透光板１上の領域から出たときには、入射光に含まれる赤外光成分は除去されずにそのまま撮像素子２の撮像面に入射する。本実施形態の撮像装置は、赤外カットフィルタ４を透光板１上の領域に入れた状態で取得した画素信号から通常の画像を生成する。以下、この動作を行うモードを「通常撮影モード」と呼ぶ。一方、撮像装置は、赤外カットフィルタを透光板１上の領域から出した状態で取得した画素信号から被写体の奥行きを算出する。以下、この動作を行うモードを「奥行き推定モード」と呼ぶ。
　レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。レンズ３は、公知のレンズであり、赤外カットフィルタ４の有無に関わらず、入射光を集光し、撮像素子２の撮像面に結像させる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような例に限られるものではない。例えば、レンズ３と赤外カットフィルタ４およびフィルタ駆動部４ａの配置関係が入れ替わってもよい。また、本実施形態では、赤外カットフィルタ４の出し入れ方向はｘ方向であるが、入射光の赤外光成分を遮光できれば、その方向は任意である。すなわち、赤外カットフィルタ４の可動方向はｙ方向でもよいし、ｘ方向およびｙ方向とは異なる方向でも構わない。
　図３Ａは、透光板１の平面図である。透光板１の表面の大部分は赤外反射ミラー１ｂに覆われ、部分的に赤外反射ミラー１ｂに覆われていない円形の部分（以下、「赤外反射開口部」と呼ぶ）を有する。本実施形態では、透光板１は、透明ガラス材質で出来ており、撮像素子２の光感知部上に装着されている。透光板１は、ガラスに限らず、透光性の部材であればどのような材質で形成されていてもよい。
　図３Ｂは、図３ＡにおけるＡ－Ａ’線断面図である。透光板１は、その内部に反射面が傾斜した輪状の赤外反射ミラー１ａを有する。この赤外反射ミラー１ａは輪状であるため、その中心部分には赤外光を反射する部分がなく、中心部を透過する光はそのまま撮像素子２の光感知セル１０に入射する。本実施形態では、赤外反射ミラー１ａ、１ｂが、それぞれ上記の第１および第２のミラーとして機能する。
　赤外反射ミラー１ａ、１ｂは、ともに赤外光を主に反射し、その他の波長域の可視光を透過させる特性を有する。本明細書において、「赤外光」とは、例えば６５０ｎｍより長い波長を有する電磁波を指す。このような赤外反射ミラー１ａ、１ｂを用いることにより、人間が視認できる可視光については反射されずに撮像素子２に入射させることができる。
　図３Ｂに示される赤外反射ミラー１ａ、１ｂを含む透光板１は、公知のリソグラフィおよびエッチング技術により、薄膜の堆積およびパターニングを実行して製造され得る。例えば、まず、透明基板上に複数の円錐台状の突起部を形成する。次に、赤外光のみを反射し、その他の可視光を透過させるように各層の屈折率および膜厚が設計された誘電体多層膜を堆積する。堆積された多層膜の不要部をエッチングによって除去することにより、赤外反射ミラー１ａを形成する。その上にさらに透明層を堆積し、上面が平らになるように成形する。最後に、赤外反射ミラー１ａと同一の反射／透過特性をもつ誘電体多層膜を、赤外反射ミラー１ａ上の領域を除いて形成することにより、赤外反射ミラー１ｂを形成する。このような方法により、透光板１を作製することができる。作製された透光板１は、撮像素子２の撮像面に接合され、撮像素子２と一体化されていてもよい。そのため、本実施形態における透光板１を備えた撮像素子が独立して製造、販売等される場合もあり得る。
　図４は、撮像素子２の撮像部に行列状に配列された複数の光感知セル１０から構成される光感知セルアレイの一部を示している。各光感知セル１０は、典型的にはフォトダイオードを有し、光電変換によって各々の受光量に応じた光電変換信号を出力する。
　以上の構成により、通常撮影モードでは、露光中に撮像装置に入射する光は、レンズ３、赤外カットフィルタ４、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４により赤外光成分が除去されるため、入射光は透光板１の表面あるいは内部に設けられている赤外反射ミラー１ａ、１ｂに影響されることなく光電変換される。
　一方、奥行き推定モードでは、露光中に撮像装置に入射する光は、レンズ３、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４を介さないため、以下で説明するように、入射光は透光板１の表面あるいは内部に作られている赤外反射ミラー１ａ、１ｂによる影響が現れる。
　各光感知セル１０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、通常撮影モードでは、送られてきた信号に基づいて画像を生成する。その結果、解像度の低下のない通常の画像が得られる。一方、奥行き推定モードでは、画像処理部７は、以下に示す処理により、奥行き情報を算出する。なお、通常の画像の生成は、画像処理部７内の画像生成部７ａによって行われ、奥行き情報の生成は、画像処理部７内の奥行き情報生成部７ｂによって行われる。
　以下、奥行き推定モードについて詳しく説明する。但し、このモードに入る直前に、撮像装置は、通常撮影モードで画像を１枚撮像しておく。奥行き推定モードでは、入射光はレンズ３を介して透光板１に直接入射するが、入射光の赤外光成分の大半は赤外反射ミラー１ｂによって反射する。しかしながら、透光板１の赤外反射開口部に入射した赤外光成分は、直接光感知セル１０に入射、あるいは赤外反射ミラー１ａで反射され、さらに赤外反射ミラー１ｂで反射されて光感知セル１０に入る。本実施形態では、ｘ方向およびｙ方向とも、約２０画素に１つの割合で赤外反射開口部が設けられる。ここで、１画素とは、１つの光感知セルが配置された領域を指す。また、その２０画素の範囲内に赤外反射ミラー１ａ、１ｂによって反射された赤外光が入るように、透光板１の厚さと赤外反射ミラー１ａの形状および位置とが設計されている。このような赤外反射開口部における光学構造により、その中心直下では赤外光成分が多く、またその周辺部も赤外反射ミラー１ａと１ｂとの反射により、赤外光成分が多くなる。本実施形態では、赤外反射開口部直下を中心として、その周辺に現れる赤外光成分による輪状画像の半径を調べることにより、撮像装置から被写体までの距離を推定することができる。
　以下、図５Ａ～５Ｃを参照しながら、本実施形態における距離推定の原理を説明する。図５Ａは、被写体５０における点５０ａからの光線（実線）と、点５０ａよりも撮像装置から遠方に位置する点５０ｂからの光線（破線）が光学レンズ３によって集束され、撮像素子２に入射する様子を模式的に示す概念図である。図５Ａでは、撮像装置の構成要素のうち、光学レンズ３および撮像素子２以外の構成要素の図示は省略されている。図５Ｂは、図５Ａの撮像素子２の撮像面付近の部分拡大図である。この例では、点５０ａから入射する光線（実線）については、光感知セル１０が配列された撮像面の位置で合焦している。一方、点５０ｂから入射する光線（破線）については、光感知セル１０や透光板１が設けられた位置よりも被写体に近い位置で合焦している。このため、赤外反射ミラー１ａ、１ｂによる赤外光の反射のされ方が、両者で異なる。このように、透光板１へ入射する光の集束状態および赤外反射ミラー１ａ、１ｂによる反射のされ方は、被写体の奥行きによって異なる。
　図５Ｃは、被写体の一点から透光板１へ入射する光の集束状態および赤外反射ミラー１ａ、１ｂによる反射のされ方が当該被写体の一点の奥行きによって異なることをより詳細に示す概念図である。図５Ｃにおいて、入射光がレンズ３により絞り込まれ、結像中心が透光板１の表面よりも撮像素子２側にある場合の光線経路を点線で示している。この場合、光線はｘ１からｘ２へと進む。また、図５Ｃにおいて、入射光の結像中心が透光板１上にあり、入射光が透光板１の上面に対してほぼ垂直に入射するとみなせる場合の光線経路を一点鎖線で示している。この場合、光線はｙ１からｙ２へと進む。さらに、図５Ｃにおいて、入射光の結像中心が透光板１よりも被写体側にある場合の光線経路を二点鎖線で示している。この場合、光線はｚ１からｚ２へと進む。これらの光線は撮像素子２の撮像面上では輪状の領域を照射することになり、画像としても輪状の画像が現れる。これらの集束状態の異なる３種類の光束によって形成される画像の形状は互いに異なる。
　以上のことから、入射光の結像状況により、赤外反射ミラー１ａと１ｂとによる輪状画像の半径が変わる。ここで、撮像装置から被写体までの距離、結像状況、輪状画像の半径の対応関係を実験やシミュレーションによって予め調べておけば、その対応関係を利用して被写体の奥行きを求めることができる。そのような対応関係を規定する情報は、予めメモリ３０等の記録媒体に格納され得る。奥行き情報生成部７ｂは、撮像によって得られた画像から輪状画像を検出し、その半径を計測することにより、計測した半径と、上記対応関係を示す情報とに基づいて、撮像装置から被写体までの距離を算出できる。
　次に、奥行き推定モードにおける撮像装置の動作を説明する。以下の説明では、被写体は静止状態とする。撮像装置は、まず、画像を１枚撮像し、メモリ３０に保存する。この画像をＩＭＧａとする。但し、予め当該モードに入る直前に通常撮影モードで撮像した画像ＩＭＧｂもメモリ３０に保存しておく。次に画像処理部７において、画像ＩＭＧａと画像ＩＭＧｂとのフレーム間差分処理を行う。ここで、奥行き推定モードにおける撮像では、撮像素子２は、赤外反射開口部に対向する領域およびその周辺領域では可視光および赤外光を受光し、それ以外の領域では可視光のみを受光する。一方、通常撮影モードでは、撮像素子２は、受光領域の全域で、可視光しか受光しない。このため、上記フレーム間差分処理により、赤外反射開口部から入射した赤外光による画像ＩＭＧｉを検出できる。画像ＩＭＧｉは赤外反射開口部の中心部直下で明度が高く、また赤外反射開口部の中心部を中心として輪状の画像が現れる。画像処理部７における奥行き情報生成部７ｂは、輪状画像の検出およびその半径の計測を行い、予め作成しておいた輪状画像の半径と撮像装置から被写体までの距離との関係を規定したデータベースを参照して、被写体までの距離を求める。さらに、画像処理部７における奥行き情報生成部７ｂは、画像ＩＭＧｂと共に、各赤外反射開口部の位置に対応した画像ＩＭＧｂ上の位置と算出した奥行き情報とを、インターフェース部８を介して外部に出力する。本実施形態では、赤外反射開口部ごとに輪状画像が得られるため、各輪状画像の半径から、被写体の各点の奥行きを求めることができる。奥行き情報生成部７ｂは、当該被写体の各点の奥行きの分布を求めることにより、当該分布を画像化した奥行き画像を生成して出力してもよい。
　以上の動作をまとめると、図６のフローチャートによって表される。まず、撮像装置は、通常撮影モードで撮影を行い、可視光画像ＩＭＧｂを生成する（ステップＳ６１）。次に、奥行き推定モードで撮影を行い、可視・赤外光画像ＩＭＧａを生成する（ステップＳ６２）。その後、奥行き情報生成部７ｂは、ＩＭＧａとＩＭＧｂとの間でフレーム間差分演算処理を行うことにより、赤外光画像ＩＭＧｉを生成する（ステップＳ６３）。そして、ＩＭＧｉにおける輪状パターンの検出および各輪状パターンについて半径の計測を行う（ステップＳ６４）。続いて、計測した半径から、予め用意された半径－被写体距離間の関係を規定したデータベースを参照して、被写体までの距離を求める（ステップＳ６５）。最後に、当該被写体の距離情報を出力する（Ｓ６６）。
　以上のように、本実施形態では、赤外カットフィルタ４が光路上に挿入された第１の状態（通常撮影モード）と、赤外カットフィルタ４が光路上から外された第２の状態とで、連続して２回の撮像が行われる。この２連続の撮像は、図１に示す信号発生／受信部５によってフィルタ駆動部４ａおよび素子駆動部６の動作が制御されることによって実現される。本実施形態の撮像装置は、奥行き情報の算出には赤外光を利用し、通常の画像取得には可視光を用いるという特徴を有する。撮像素子２の撮像面上に、上面の大部分は赤外反射ミラー１ｂに覆われ、複数の赤外反射開口部を有する透光板１を装着することにより、撮像画像から赤外光による画像を検出することができる。そして、検出した形状と、予め求められた形状と奥行きとの対応関係を規定する情報とに基づいて、被写体までの奥行き情報を算出できるという効果がある。奥行きの情報量は、赤外反射開口部の数によって決まるため、赤外反射開口部の数が多いほど奥行き情報は多くなり、少なければ奥行き情報も少なくなる。本実施形態ではさらに、奥行き情報と共に、解像度低下のない通常画像が得られるという効果も有する。
　なお、本実施形態では、透光板１の大部分を赤外反射ミラー１ｂで覆ったが、そのような構成に限るものではない。赤外反射ミラー１ａ、１ｂによる反射光が、限られた範囲内の光感知セル群に入射するように構成されていれば、どのような形態でもよい。例えば、図７に示すように、限定された領域に赤外反射ミラー１ｂを配置しても構わない。この例では、透光板１において、赤外反射ミラー１ａ、１ｂが設けられていない領域は、赤外光に対して透明であってもよいし、遮光性を有していてもよい。また、本実施形態では、約２０画素に１つの割合で赤外反射開口部を設けたが、これはあくまでも設計値の一例である。赤外反射開口部の数をさらに増やせば、奥行き情報をより詳細に算出できる。一方、赤外反射開口部の配置が密になりすぎると、隣接する輪状パターン同士が重なり合い、奥行きの推定が困難になる恐れがある。したがって、この設計値は要求される奥行き情報の仕様によって決まるものである。さらに、奥行き推定モードにおいて、赤外カットフィルタ４を撮像光学系から外し、事前に画像を１枚撮像したが、赤外カットフィルタ４の代わりに赤外光だけを透過させる赤外透過フィルタを撮像光学系に挿入しても良い。その場合、画像ＩＭＧｉが直接得られるため、事前の画像撮像やフレーム間差分処理が不要となる。この場合、赤外反射ミラー１ａ、１ｂの一方または両方は、赤外光を反射する特性を有していればよく、光透過性を有してなくてもよい。
　また、透光板１に関して、上記の実施形態の構成以外にも、例えば、図８Ａおよび図８Ｂに示す透光板１を用いても構わない。図８Ａは、透光板１の平面図であり、図８Ｂは、図８ＡにおけるＢ－Ｂ’線断面図である。この例では、赤外反射開口部全域が赤外反射ミラー１ａで覆われ、赤外反射ミラー１ａの形状は傘状になっている。このような形状でも、赤外反射ミラー１ａと１ｂとの反射光による輪状の画像が得られるため、同様の処理によって奥行き情報を算出できる。
　また、他の例として、図９あるいは図１０に示す断面構造を有する透光板１を用いてもよい。図９に示す例では、赤外カットフィルタ４を撮像光学系に常に挿入しておき、ハーフミラー１ｃを用い、ハーフミラー１ｃの反射光を透光板１と外部の空気層との界面１ｄで全反射させ、光感知セル１０へ入射させる。ハーフミラー１ｃで反射し光感知セル１０へ入射した光の部分は明度が高いため、その部分を検出すれば、奥行き情報を算出でき得る。但し、この場合、画像としては、ハーフミラー１ｃの影響を受けた画像となるため、画像にボケが生じる。その影響を受けない画像を得るには、ハーフミラー１ｃ下の領域近辺のＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を予め求めておき、それを用いた画像復元処理を画像処理部７の処理に含める必要がある。図９に示す例では、ハーフミラー１ｃが上記の第１のミラーに対応し、透光板１と空気層との界面１ｄが第２のミラーに対応する。このように、本願明細書における「ミラー」は、必ずしも特定波長域の光を透過させる光学系である必要はない。
　図１０に示す例では、赤外反射ミラー１ａと１ｂとの反射光が赤外反射ミラー１ｂ直下に集光するように赤外反射ミラー１ａの傾斜状態を変えたものである。このような構造にした場合、輪状画像は赤外反射ミラー１ａ直下の内側に現れるが、上記と同様の処理を行うことによって被写体の奥行き情報を算出できる。
　なお、以上の実施形態において、赤外光を反射する赤外反射ミラー１ａ、１ｂの代わりに、他の波長域の光を反射する光学部材を用いてもよい。その場合、赤外カットフィルタ４の代わりに、当該波長域の光をカットする光学フィルタを用いれば、同様の処理によって奥行き情報を得ることができる。なお、そのような構成において通常画像を得る場合には、赤外光の除去のため、赤外カットフィルタ４を配置した上で、当該波長域の光をカットする光学フィルタを併せて配置され得る。
　また、上記の実施形態では、透光板１の上面に平行な平面に赤外反射ミラー１ａを投影すると、円状またはリング状の形状になるが、必ずしもこのような形状である必要はない。赤外反射ミラー１ａの形状は、例えば傾斜した平板状またはストライプ状であってもよい。さらに、赤外反射ミラー１ａ、１ｂを透光板１の上面に平行な面に投影したとき、赤外反射ミラー１ｂが赤外反射ミラー１ａの周囲を囲むように位置している必要はなく、両者による光の反射が生じれば、どのような配置であってもよい。
　以上の実施形態では、２つのミラーによって反射された光束によって照射された撮像面上の領域の半径を検知することによって被写体の奥行きが求められたが、必ずしも当該領域の半径に基づく必要はない。半径ではなく、面積や光感知セル数に基づいて奥行きを求めてもよい。また、当該領域の形状や受光量の分布と奥行きとが相関するように透光板１が構成されている場合、予め形状と奥行きとの対応関係を調べておけば、当該領域のサイズではなく、形状や受光量の分布に基づいて奥行きを求めることも可能である。なお、被写体の一点からの光束によって照射される領域は、複数の光感知セルから出力される光電変換信号の強度によって評価することができる。例えば、一定強度以上の光電変換信号を出力する光感知セルの分布によって照射領域の形状やサイズを検出できる。また、信号強度の分布から、照射領域の受光量分布を得ることができる。
　以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。
　（実施形態２）
　次に、第２の実施形態による撮像装置を説明する。本実施形態の詳細を説明する前に、まず本実施形態の撮像装置の基本概念を簡単に説明する。
　本実施形態による撮像装置は、撮像面に複数の光感知セルが配列された撮像素子と、撮像素子の撮像面に集光するように配置された光学レンズと、撮像面上に配置された透光性部材と、複数の光感知セルから出力された信号を処理する信号処理部とを備えている。透光性部材は、被写体の一部から光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有している。光束分割領域は、第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成される。光束分割領域は、その内部に第１のミラーおよび第２のミラーを有し、その上面に第３のミラーを有している。ここで、「上面」とは、透光性部材の表面のうち、撮像素子がある側とは反対側の表面を指す。第１から第３のミラーは、同一の反射特性を有しており、特定の波長域の光を反射させるように設計されている。
　「特定の波長域」は、例えば下限が６５０ｎｍより長い赤外光の波長域であるが、可視光の波長域であってもよい。
　第１のミラーは、第１の部分領域内に設けられ、第２のミラーは、第２の部分領域内に設けられている。第１および第２のミラーの反射面は、光束分割領域の上面に対して傾斜している。一方、第３のミラーの反射面は、光束分割領域の上面と平行である。
　このように構成された撮像装置の光束分割領域に被写体の一部から光学レンズを通して入射した上記の特定波長域の光束は、以下の経路を辿る。光束分割領域の第１の部分領域に入射した光束の少なくとも一部は、まず内部の第１のミラーで反射され、さらに上面の第３のミラーで反射されて第１の光感知セル群を照射する。光束分割領域の第２の部分領域に入射した光束の少なくとも一部は、まず内部の第２のミラーで反射され、さらに上面の第３のミラーで反射されて第２の光感知セル群を照射する。光束分割領域の第３の部分領域に入射した光束の少なくとも一部は、第１および第２のミラーで反射されることなく第３の光感知セル群を照射する。ここで、第１から第３の光感知セル群は、典型的には、第１から第３の部分領域にそれぞれ対向する撮像面上の領域内に位置する複数の光感知セルである。光電変換信号の重畳を防ぐため、第１から第３の光感知セル群は、互いに重複していないことが好ましい。
　ここで、第１から第３のミラーは、第１から第３の光感知セル群によって検知される受光量分布が互いに異なるように配置されている。すなわち、同一の被写体の点から光学レンズを通して１つの光束分割領域に入射した光束は、第１の部分領域、第２の部分領域、第３の部分領域内で互いに異なる反射作用を受けた結果、光量の空間分布が変化する。これは、例えば第１から第３の光感知セル群について、セル数、照射領域の形状、出力のピーク値、出力の平均値、出力の分散等が互いに異なるという結果となって現れる。
　さらに、第１から第３の部分領域における反射作用が互いに異なるため、各光感知セル群によって検知される受光量分布は、当該被写体の一部の奥行きに応じて変化する。これは、被写体の当該一部の奥行きが異なると、光束分割領域に入射する光の入射角が異なり、その結果、各反射ミラーで反射される光の進行方向が異なるからである。このことは、各光感知セル群によって検知される受光量分布と奥行きとの間に相関関係があることを意味する。
　本実施形態では、撮像素子の撮像面に入射して光電変換される光のうち、第１から第３のミラーによって反射されて入射した光の成分を抽出することにより、当該成分の光によって照射された各光感知セル群の受光量分布やピーク値などが検出される。検出結果を解析することにより、被写体の奥行きを示す情報（奥行き情報）を得ることができる。奥行き情報を生成する具体的な処理については、後述する。
　本実施形態では、撮像装置自身が画像処理部を備え、被写体の奥行きを示す情報（奥行き情報）を生成する。しかし、撮像装置自身が奥行き情報を生成しない場合であっても、撮像によって取得した光電変換信号を他の装置に送ることにより、当該他の装置が奥行き情報を生成することが可能である。上記のように、そのような、自身は奥行き情報自体を生成しないが、奥行き情報を生成するための情報を提供する撮像装置も、「奥行き推定撮像装置」と呼ぶ。
　以下、本実施形態における撮像装置の具体的な構成および動作を説明する。本実施形態における撮像装置の全体構成は、図１に示す構成と同様である。本実施形態では、透光板１の構成および画像処理部７による処理が実施形態１と異なる。以下、実施形態１と異なる点を中心に説明し、同一の事項についての説明は省略する。
　図１１Ａは、透光板１の一部の構成を示す平面図である。透光板１の表面の大部分は赤外反射ミラー１ｂに覆われ、部分的に赤外反射ミラー１ｂに覆われていない円形状またはリング形状の赤外反射開口部を有している。本実施形態における透光板１は、複数の光束分割領域１ｕの集合である。以下の説明では、１つの光束分割領域１ｕには、被写体の一部分から光学レンズ３を通してほぼ一様と見なせる光束が入射するものと仮定する。本実施形態における光束分割領域１ｕは、当該光束に含まれる赤外の波長域の光束を４つの部分光束に分けてそれぞれ異なる光感知セル群に照射させるように設計されている。本実施形態では、透光板１は透明ガラス材質で出来ており、撮像素子２の複数の光感知セル上に装着されている。透光板１は、ガラスに限らず、透光性の部材であればどのような材質で形成されていてもよい。
　図１１Ｂは、透光板１の１つの光束分割領域１ｕを示す平面図である。光束分割領域１ｕは４つの部分領域から構成され、それらは２行２列に配列されている。図１１Ｂでは、４つの部分領域は、点線で区切られて示されているが、実際にはそのような境界が明確に存在するわけではない。１行２列目に位置する第１の部分領域１ｕ－１には、その上面に、リング状の第１の赤外反射開口部を有する赤外反射ミラー１ｂが配置され、その内部に、第１の赤外反射開口部を通過した赤外光を反射させる赤外反射ミラー１ａ－１が配置されている。２行１列目に位置する第２の部分領域１ｕ－２には、その上面に、上記とは異なる大きさのリング状の第２の赤外反射開口部を有する赤外反射ミラー１ｂが配置され、その内部に、第２の赤外反射開口部を通過した赤外光を反射させる赤外反射ミラー１ａ－２が配置されている。１行１列目に位置する第３の部分領域１ｕ－３と、２行２列目に位置する第４の部分領域１ｕ－４とは、同一のパターンを有している。第３の部分領域１ｕ－３および第４の部分領域１ｕ－４の上面には、円形状の赤外反射開口部を有する赤外反射ミラー１ｂが配置されている。
　図１１Ｃは、図１１ＢにおけるＡ－Ａ'線断面図である。図１１Ｃにおいて、透光板１の右側半分は第１の部分領域１ｕ－１であり、左側半分は第３の部分領域１ｕ－３である。第１の部分領域１ｕ－１の内部に、反射面が上面に対して傾斜したリング状の赤外反射ミラー１ａ－１が配置されている。赤外反射フィルタ１ａ－１は、反射された赤外光が第１の赤外反射開口部に囲まれた赤外反射ミラー１ｂの部分に向かうように傾斜角および上面からの深さが設計されている。赤外反射ミラー１ａ－１によって反射された赤外光は、赤外反射ミラー１ｂの当該部分でさらに反射され、撮像素子２の複数の光感知セル１０の一部に入射する。一方、第３の部分領域１ｕ－３の内部には反射ミラーは設けられていない。このため、第３の部分領域１ｕ－３における円形の赤外反射開口部を通過した赤外光は、その後反射されることなく複数の光感知セル１０の一部を照射する。
　図１１Ｄは、図１１ＢにおけるＢ－Ｂ'線断面図である。図１１Ｄにおいて、透光板１の左側半分は第２の部分領域１ｕ－２であり、右側半分は第４の部分領域１ｕ－４である。第２の部分領域１ｕ－２の内部に、反射面が上面に対して傾斜したリング状の赤外反射ミラー１ａ－２が配置されている。赤外反射フィルタ１ａ－２は、反射された赤外光が第２の赤外反射開口部に囲まれた赤外反射ミラー１ｂの部分に向かうように傾斜角および上面からの深さが設計されている。赤外反射ミラー１ａ－２によって反射された赤外光は、赤外反射ミラー１ｂの当該部分でさらに反射され、撮像素子２の複数の光感知セル１０の一部に入射する。一方、第４の部分領域１ｕ－４の内部には反射ミラーは設けられていない。このため、第４の部分領域１ｕ－４における円形の赤外反射開口部を通過した赤外光は、その後反射されることなく複数の光感知セル１０の一部を照射する。
　本実施形態では、赤外反射ミラー１ａ－１、１ａ－２、１ｂが、それぞれ上記の第１、第２、第３のミラーとして機能する。本実施形態のように、第１から第３のミラーの各々は、複数の部分に分割されていてもよい。
　赤外反射ミラー１ａ－１、１ａ－２、１ｂは、いずれも赤外光を主に反射し、その他の波長域の可視光を透過させる特性を有する。上記のように、「赤外光」とは、例えば６５０ｎｍより長い波長を有する電磁波を指す。このような赤外反射ミラー１ａ－１、１ａ－２、１ｂを用いることにより、人間が視認できる可視光については反射されずに撮像素子２に入射させることができる。
　図１１Ｃおよび図１１Ｄに示される赤外反射ミラー１ａ－１、１ａ－２、１ｂを含む透光板１は、公知のリソグラフィおよびエッチング技術により、薄膜の堆積およびパターニングを実行することにより、製造され得る。例えば、まず、透明基板上の所定の位置に２種類の円錐状の凹部を、一定のパターンで形成する。次に、赤外光のみを反射し、その他の可視光を透過させるように各層の屈折率および膜厚が設計された誘電体多層膜を堆積する。堆積された多層膜の不要部をエッチングによって除去することにより、赤外反射ミラー１ａ－１、１ａ－２が形成される。その上にさらに透明層を堆積し、上面が平らになるように成形する。最後に、赤外反射ミラー１ａ－１、１ａ－２と同一の反射／透過特性をもつ誘電体多層膜を、赤外反射ミラー１ａ－１、１ａ－２上の領域を除いて形成することにより、赤外反射ミラー１ｂを形成する。このような方法により、透光板１を作製することができる。作製された透光板１は、撮像素子２の撮像面に接合され、撮像素子２と一体化されていてもよい。
　以上の構成により、赤外カットフィルタ４を光路上に挿入して撮影する通常撮影モードでは、露光中に撮像装置に入射する光は、レンズ３、赤外カットフィルタ４、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４により赤外光成分が除去されるため、入射光は透光板１の表面あるいは内部に設けられている赤外反射ミラー１ａ－１、１ａ－２、１ｂに影響されることなく光電変換される。
　一方、赤外カットフィルタ４を光路上から外して撮影する奥行き推定モードでは、露光中に撮像装置に入射する光は、レンズ３、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４を介さないため、以下で説明するように、入射光は透光板１の表面あるいは内部に設けられている赤外反射ミラー１ａ－１、１ａ－２、１ｂによる影響が現れる。
　各光感知セル１０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、通常撮影モードでは、送られてきた信号に基づいて画像を生成する。その結果、解像度の低下のない通常の画像が得られる。一方、奥行き推定モードでは、画像処理部７は、以下に示す処理により、奥行き情報を算出する。なお、通常の画像の生成は、画像処理部７内の画像生成部７ａによって行われ、奥行き情報の生成は、画像処理部７内の奥行き情報生成部７ｂによって行われる。
　以下、奥行き推定モードについて詳しく説明する。但し、このモードに入る直前に、撮像装置は、通常撮影モードで画像を１枚撮像しておく。奥行き推定モードでは、入射光はレンズ３を介して直接透光板１に入射するが、入射光の赤外光成分の大半は赤外反射ミラー１ｂによって反射される。しかしながら、透光板１の赤外反射開口部に入射した赤外光成分は、直接光感知セル１０に入射、あるいは赤外反射ミラー１ａ－１、１ａ－２で反射され、さらに赤外反射ミラー１ｂで反射されて光感知セル１０に入射する。透光板１の基本単位である１つの光束分割領域のサイズは、例えば、ｘ、ｙ方向のそれぞれについて、約２０画素分のサイズである。なお、１つの光束分割領域のサイズは、上記の例に限らず、各部分領域を透過した赤外光が複数の光感知セルを照射するようなサイズであればよい。また、その範囲内に赤外反射ミラー１ａ－１、１ａ－２、１ｂによって反射された赤外光が入るよう、透光板１の厚さと赤外反射ミラー１ａ－１、１ａ－２の形状および位置が設定されている。このような赤外反射開口部における光学構造により、その中心直下では赤外光成分が多く検出される。
　本実施形態では、１つの光束分割領域の１行１列目と２行２列目の部分領域が同じ構造であり、その内部に赤外反射フィルタは設けられていない。一方、１行２列目と２行１列目の部分領域は、その内部に赤外反射フィルタ１ａ－１、１ａ－２を有しており、それらの形状や配置が異なっている。図１１Ｃに示すように、１行２列目のパターンでは１行１列目のパターンより結像点が短い。一方、図１１Ｄに示すように、２行１列目のパターンでは１行１列目のパターンより結像点が長い。その結果、上面から結像点までの距離が互いに異なる３つの結像状態を作ることができる。
　一般に３つの結像状態の異なる画像があれば、それらから被写体までの距離を推定することができる。結像状態の異なる画像では、結像点が光感知セルに近い程その信号量が大きいため、第１から第３の部分領域にそれぞれ対向する第１から第３の光感知セル群から出力される信号量のピーク値は互いに異なる。また、被写体の奥行きが異なれば、それらの信号量のピーク値の比も変化する。そこで、本実施形態では、各部分領域に対向する光感知セル群から出力される光電変換信号のピーク値と、撮像装置から被写体までの距離との対応関係を予め実験やシミュレーションによって調べておき、それらの関係を示す情報を、データベース化しておく。そのようなデータベースは、例えばメモリ３０等の記録媒体に格納され得る。これにより、奥行き情報生成部７ｂは、３種類の結像状態を光電変換信号に基づいて観測し、予め求められた対応関係に従って被写体の奥行きを推定することができる。当該データベースは、例えば、「第１の光感知セル群からの画素信号のピーク値：第２の光感知セル群からの画素信号のピーク値：第３の光感知セル群からの画素信号のピーク値：奥行き」のような比を表す情報である。なお、本実施形態では、第３の部分領域１ｕ－３と第４の部分領域１ｕ－４とが同一の構造を有しているため、これらに対向する撮像面上の領域に位置する光感知セルの信号の平均値が利用される。
　ここで、図１２を参照しながら、被写体の一部分から光学レンズ３を通して１つの部分領域に入射した赤外光によって照射される光感知セル群の受光量分布が、被写体の当該一部分の奥行きによって異なることを説明する。例として、第１の部分領域１ｕ－１に赤外光が入射する場合を想定する。図１２は、被写体の一部分から第１の部分領域１ｕ－１へ入射する光の集束状態が被写体の当該一部分の奥行きによって異なることを示す概念図である。まず、入射光がレンズ３により絞り込まれ、結像中心が透光板１より撮像素子２側にある場合の光線経路を点線で示す。この場合、光線はｘ１からｘ２へと進む。入射光の結像中心が透光板１上にあり、入射光が透光板１の上面に対してほぼ垂直に入射するとみなせる場合の光線経路を一点鎖線で示す。この場合、光線はｙ１からｙ２へと進む。入射光の結像中心が透光板１よりも上部にある場合の光線経路を二点鎖線で示す。この場合、光線はｚ１からｚ２へと進む。これらの光線は撮像素子２の撮像面上では異なる光量分布をもつことになるため、光感知セル群によって検出される受光量分布も異なる。以上のように、被写体の一部分から光学レンズ３を通して１つの部分領域に入射した赤外光によって照射される光感知セル群の受光量分布は、被写体の当該一部分の奥行きによって異なる。
　次に、奥行き推定モードにおける撮像装置の動作を説明する。以下の説明では、被写体は静止状態とする。撮像装置は、まず、画像を１枚撮像し、メモリ３０に保存する。この画像をＩＭＧａとする。但し、予め当該モードに入る直前に通常撮影モードで撮像した画像ＩＭＧｂもメモリ３０に保存しておく。次に画像処理部７において、画像ＩＭＧａと画像ＩＭＧｂとのフレーム間差分処理を行う。ここで、奥行き推定モードにおける撮像では、撮像素子２は、赤外反射開口部に対向する領域およびその周辺領域では可視光および赤外光を受光し、それ以外の領域では可視光のみを受光する。一方、通常撮影モードでは、撮像素子２は、受光領域の全域で、可視光しか受光しない。このため、上記フレーム間差分処理により、赤外反射開口部から入射した赤外光による画像ＩＭＧｉを検出できる。画像処理部７における奥行き情報生成部７ｂは、各部分領域の直下の光電変換信号を計測し、予め作成しておいた画素信号のピーク値と撮像装置から被写体までの距離との関係を表すデータベースから、被写体までの距離を求める。さらに画像処理部７における奥行き情報生成部７ｂは、画像ＩＭＧｂと共に、各赤外反射開口部の位置に対応した画像ＩＭＧｂ上の位置と算出した奥行き情報とを、インターフェース部８を介して外部に出力する。奥行情報生成部７ｂは、当該被写体の各点の奥行きの分布を求めることにより、当該分布を画像化した奥行き画像を生成して出力してもよい。
　以上の動作をまとめると、図１３のフローチャートによって表される。まず、撮像装置は、通常撮影モードで撮影を行い、可視光画像ＩＭＧｂを生成する（ステップＳ１３１）。次に、奥行き推定モードで撮影を行い、可視・赤外光画像ＩＭＧａを生成する（ステップＳ１３２）。その後、奥行き情報生成部７ｂは、ＩＭＧａとＩＭＧｂとの間でフレーム間差分演算処理を行うことにより、赤外光画像ＩＭＧｉを生成する（ステップＳ１３３）。そして、ＩＭＧｉにおける信号のピーク値を計測する（ステップＳ１３４）。続いて、計測したピーク値から、予め用意されたピーク値－被写体距離間の関係を規定したデータベースを参照して、被写体までの距離を求める（ステップＳ１３５）。最後に、当該被写体の距離情報を出力する（Ｓ１３６）。
　以上のように、本実施形態では、赤外カットフィルタ４が光路上に挿入された第１の状態（通常撮影モード）と、赤外カットフィルタ４が光路上から外された第２の状態とで、連続して２回の撮像が行われる。この２連続の撮像は、図１に示す信号発生／受信部５によってフィルタ駆動部４ａおよび素子駆動部６の動作が制御されることによって実現される。本実施形態の撮像装置は、奥行き情報の算出には赤外光を利用し、通常の画像取得には可視光を用いるという特徴を有する。撮像素子２の撮像面上に、上面の大部分は赤外反射ミラー１ｂに覆われ、内部に赤外反射ミラー１ａ－１、１ａ－２が配置された複数の赤外反射開口部を有する透光板１を装着することにより、撮像画像から赤外光による画像を検出することができる。そして、透光板１の各部分領域に対応する光感知セル群によって検出された受光量分布に基づいて、奥行き情報を算出できるという効果がある。奥行きの情報量は、光束分割領域１ｕの数によって決まるため、光束分割領域１ｕの数が多いほど奥行き情報は多くなる。本実施形態ではさらに、奥行き情報と共に、解像度低下のない通常画像が得られるという効果も有する。
　なお、本実施形態では、奥行き推定モードにおいて、赤外カットフィルタ４を撮像光学系から外し、事前に画像を１枚撮像したが、赤外カットフィルタ４の代わりに赤外光だけを透過させる赤外透過フィルタを撮像光学系に挿入しても良い。その場合、画像ＩＭＧｉが直接得られるため、事前の画像撮像やフレーム間差分処理が不要となる。この場合、赤外反射ミラー１ａ－１、１ａ－２、１ｂは、赤外光を反射する特性を有していればよく、光透過性を有してなくてもよい。
　また、赤外光を反射する赤外反射ミラー１ａ－１、１ａ－２、１ｂの代わりに、他の波長域の光を反射する光学部材を用いてもよい。その場合、赤外カットフィルタ４の代わりに、当該波長域の光をカットする光学フィルタを用いれば、同様の処理によって奥行き情報を得ることができる。なお、そのような構成において通常画像を得る場合には、赤外光の除去のため、赤外カットフィルタ４を配置した上で、当該波長域の光をカットする光学フィルタが併せて配置され得る。
　また、本実施形態では、透光板１の上面に平行な平面に投影された赤外反射ミラー１ａ－１、１ａ－２は、リング状の形状を有するが、必ずしもこのような形状である必要はなく、例えば平板状であってもよい。さらに、赤外反射ミラー１ａ－１、１ａ－２、１ｂを、上面に平行な平面に投影したとき、赤外反射ミラー１ｂが赤外反射ミラー１ａ－１、１ａ－２の周囲を囲むように位置している必要はなく、これらによる光の反射が生じれば、どのような配置であってもよい。
　本実施形態では、光束分割領域１ｕの各部分領域に対応する光感知セル群によって検出される受光量のピーク値の比に基づいて被写体の一部分の奥行き情報が求められるが、他の情報に基づいて奥行き情報を求めてもよい。例えば、本実施形態では、赤外反射開口部ごとに輪状画像が得られるため、各輪状画像の半径の比から、被写体の各点の奥行きを求めてもよい。また、各光感知セル群によって検出される受光量分布自体を利用してもよい。例えば、各光感知セル群によって検出される受光量の平均値や分散から奥行きを求めてもよい。その場合、各光感知セル群によって検出される受光量分布と奥行きとの対応関係を規定する情報を予め求めておけばよい。
　本実施形態では、透光板１は、２次元状に配列された複数の光束分割領域１ｕを有しているが、透光板１は、最低限１つの光束分割領域１ｕを有していればよい。１つの光束分割領域が設けられていれば、被写体の一点の奥行きを求めることができる。また、１つの光束分割領域１ｕは、図１１Ｂに示すような２行２列の配列を有している必要はなく、任意の配列でよい。また、１つの光束分割領域１ｕは、４つの部分領域に分かれている必要はなく、少なくとも３つの部分領域に分割されていればよい。
　本実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。
　本発明の実施形態にかかる撮像装置は、撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。
　１　透光板
　１ａ、１ｂ、１ａ－１、１ａ－２　赤外反射ミラー
　１ｃ　ハーフミラー
　１ｕ　光束分割領域
　１ｕ－１、１ｕ－２、１ｕ－３、１ｕ－４　部分領域
　２　固体撮像素子
　３　レンズ
　４　赤外カットフィルタ
　４ａ　フィルタ駆動部
　５　信号発生／受信部
　６　素子駆動部
　７　画像処理部
　７ａ　画像生成部
　７ｂ　奥行き情報生成部
　８　インターフェース部
　１０　光感知セル
　３０　メモリ
　１００　撮像部
　２００　信号処理部

Claims (32)

  1. 　複数の光感知セルが撮像面に配列された撮像素子と、
    　前記撮像面に集光するように配置された光学レンズと、
    　前記撮像面上に配置された透光性部材であって、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する透光性部材と、
    　前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、
    を備え、
    　前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、
    　前記第２のミラーの反射面は、前記上面に平行であり、
    　前記第１のミラーおよび前記第２のミラーは、被写体の一点から前記光学レンズを通して入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている、
    奥行き推定撮像装置。
  2. 　前記信号処理部は、前記複数の光感知セルから出力される光電変換信号に基づいて前記光束によって照射された前記領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部をさらに備えている、請求項１に記載の奥行き推定撮像装置。
  3. 　前記奥行き情報生成部は、予め用意された、前記光束によって照射された前記領域のサイズと、前記被写体の前記一点の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する、請求項２に記載の奥行き推定撮像装置。
  4. 　前記透光性部材の上面に平行な面に投影された前記第１のミラーの形状は、リング状または円状である、請求項１から３のいずれかに記載の奥行き推定撮像装置。
  5. 　前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラーを囲むように位置している、請求項１から４のいずれかに記載の奥行き推定撮像装置。
  6. 　前記透光性部材は、前記第１のミラーを含む同一の反射特性、形状、および前記上面に対する傾斜角を有する複数のミラーからなる第１ミラー群を内部に有し、
    　前記第１ミラー群の各ミラーは、各ミラーによって反射された光束が、前記第２ミラーによってさらに反射され、前記撮像面の互いに異なる領域を照射するように配置されている、
    請求項１から５のいずれかに記載の奥行き推定撮像装置。
  7. 　前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラー群の各ミラーを囲むように位置している、請求項６に記載の奥行き推定撮像装置。
  8. 　前記第１のミラーおよび前記第２のミラーの少なくとも一方は、光透過性を有している、請求項１から７のいずれかに記載の奥行き推定撮像装置。
  9. 　前記第１のミラーおよび前記第２のミラーは、特定の波長域の光を反射させ、その他の波長域の可視光を透過させる特性を有している、請求項１から８のいずれかに記載の奥行き推定撮像装置。
  10. 　前記特定の波長域の光をカットする光学フィルタと、
    　前記光学フィルタを前記被写体から前記撮像素子までの光路上に着脱することができるフィルタ駆動部と、
    をさらに備えている、請求項９に記載の奥行き推定撮像装置。
  11. 　前記光学フィルタが前記光路上に挿入された第１の状態と、前記光学フィルタが前記光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている、請求項１０に記載の奥行き推定撮像装置。
  12. 　前記信号処理部は、
    　前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、
    　前記第１の状態において前記複数の光感知セルから出力された光電変換信号と、前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記特定の波長域の光によって照射された前記撮像面の領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部と、
    を有している、請求項１１に記載の奥行き推定撮像装置。
  13. 　前記特定の波長域の光は赤外光である、請求項９から１２のいずれかに記載の奥行き推定撮像装置。
  14. 　前記特定の波長域の下限は、６５０ｎｍよりも長い、請求項９から１３のいずれかに記載の奥行き推定撮像装置。
  15. 　複数の光感知セルが２次元的に配列された光感知セルアレイと、
    　前記光感知セルアレイに対向して配置された透光性部材と、
    を備え、
    　前記透光性部材は、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有し、
    　前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、
    　前記第２のミラーの反射面は、前記上面に平行であり、
    　前記第１のミラーおよび前記第２のミラーは、被写体の一点から入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記光感知セルアレイの一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている、
    撮像素子。
  16. 　複数の光感知セルが撮像面に配列された撮像素子と、
    　前記撮像面に集光するように配置された光学レンズと、
    　前記撮像面上に配置された透光性部材であって、被写体の一部から前記光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、
    　前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、
    を備え、
    　前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有し、
    　前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、
    　前記第３のミラーの反射面は、前記上面と平行であり、
    　前記第１のミラー、前記第２のミラー、および前記第３のミラーは、
    　　前記被写体の前記一部から前記光学レンズを通して前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、
    　　前記被写体の前記一部から前記光学レンズを通して前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、
    　　前記被写体の前記一部から前記光学レンズを通して前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、
    　　前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている、
    奥行き推定撮像装置。
  17. 　前記信号処理部は、前記第１から第３の光感知セル群から出力される光電変換信号に基づいて、前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部を有している、請求項１６に記載の奥行き推定撮像装置。
  18. 　前記奥行き情報生成部は、予め用意された、前記第１から第３の光感知セル群の各々によって検知される受光量のピーク値または受光量分布と、前記被写体の前記一部の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する、請求項１７に記載の奥行き推定撮像装置。
  19. 　前記光束分割領域は、形状および大きさが互いに等しい前記第１の部分領域、前記第２の部分領域、前記第３の部分領域、および第４の部分領域から構成され、
    　前記第３のミラーは、前記第３および第４の部分領域の上面に同じパターンで配置されている、
    請求項１６から１８のいずれかに記載の奥行き推定撮像装置。
  20. 　前記光束分割領域の上面に垂直な方向から見たとき、
    　前記第１から第４の部分領域は、２行２列に配列されている、請求項１９に記載の奥行き推定撮像装置。
  21. 　前記第１の部分領域は、１行２列目に位置し、
    　前記第２の部分領域は、２行１列目に位置し、
    　前記第３の部分領域は、１行１列目に位置し、
    　前記第４の部分領域は、２行２列目に位置している、
    請求項２０に記載の奥行き推定撮像装置。
  22. 　前記第３のミラーは、各部分領域の上面において、円状またはリング状の開口部を有している、請求項１６から２１のいずれかに記載の奥行き推定撮像装置。
  23. 　前記第３のミラーは、前記第１の部分領域の上面において、リング状の第１の開口部を有し、前記第２の部分領域の上面において、前記第１の開口部とは大きさの異なるリング状の第２の開口部を有し、前記第３の部分領域の上面において、円状の開口部を有している、請求項２２に記載の奥行き推定撮像装置。
  24. 　前記第１のミラーは、前記第１の開口部を通して入射した光束を反射し、前記第１の開口部によって囲まれた前記第３のミラーの部分に向けるように配置され、
    　前記第２のミラーは、前記第２の開口部を通して入射した光束を反射し、前記第２の開口部によって囲まれた前記第３のミラーの部分に向けるように配置されている、
    請求項２３に記載の奥行き推定撮像装置。
  25. 　前記特定の波長域は、赤外光の波長域である、請求項１６から２４のいずれかに記載の奥行き推定撮像装置。
  26. 　前記特定の波長域の下限は、６５０ｎｍよりも長い、請求項１６から２５のいずれかに記載の奥行き推定撮像装置。
  27. 　前記第１から第３のミラーは、前記特定の波長域以外の可視光を透過させる特性を有している、請求項１６から２６のいずれかに記載の奥行き推定撮像装置。
  28. 　前記透光性部材は、前記光束分割領域を含む同一構造の複数の光束分割領域を有している、請求項１６から２７のいずれかに記載の奥行き推定撮像装置。
  29. 　前記特定の波長域の光をカットする光学フィルタと、
    　前記光学フィルタを光路上に着脱することができるフィルタ駆動部と、
    をさらに備えている、請求項１６から２８のいずれかに記載の奥行き推定撮像装置。
  30. 　前記光学フィルタが光路上に挿入された第１の状態と、前記光学フィルタが光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている、請求項２９に記載の奥行き推定撮像装置。
  31. 　前記信号処理部は、
    　前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、
    　前記第１の状態において前記複数の光感知セルから出力された光電変換信号と前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部と、
    を有している、
    請求項３０に記載の奥行き推定撮像装置。
  32. 　複数の光感知セルが２次元的に配列された光感知セルアレイと、
    　前記光感知セルアレイに対向して配置された透光性部材であって、被写体の一部から入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、
    を備え、
    　前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有し、
    　前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、
    　前記第３のミラーの反射面は、前記上面と平行であり、
    　前記第１のミラー、前記第２のミラー、および前記第３のミラーは、
    　　前記被写体の前記一部から前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、
    　　前記被写体の前記一部から前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、
    　　前記被写体の前記一部から前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、
    　　前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている、
    撮像素子。
PCT/JP2012/005779 2011-10-13 2012-09-12 奥行き推定撮像装置および撮像素子 WO2013054469A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/813,503 US9456198B2 (en) 2011-10-13 2012-09-12 Depth estimating image capture device and image sensor
JP2012554905A JP5923755B2 (ja) 2011-10-13 2012-09-12 奥行き推定撮像装置および撮像素子
CN201280002236.8A CN103168272B (zh) 2011-10-13 2012-09-12 进深推定摄像装置以及摄像元件

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-225968 2011-10-13
JP2011225968 2011-10-13
JP2011-231711 2011-10-21
JP2011231711 2011-10-21

Publications (1)

Publication Number Publication Date
WO2013054469A1 true WO2013054469A1 (ja) 2013-04-18

Family

ID=48081541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005779 WO2013054469A1 (ja) 2011-10-13 2012-09-12 奥行き推定撮像装置および撮像素子

Country Status (4)

Country Link
US (1) US9456198B2 (ja)
JP (1) JP5923755B2 (ja)
CN (1) CN103168272B (ja)
WO (1) WO2013054469A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110425983A (zh) * 2019-07-26 2019-11-08 杭州电子科技大学 一种基于偏振多光谱的单目视觉三维重建测距方法
CN110470214A (zh) * 2018-05-09 2019-11-19 韩华精密机械株式会社 组件拾取设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6194592B2 (ja) * 2013-02-22 2017-09-13 セイコーエプソン株式会社 分光カメラ
US8917327B1 (en) 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
US9633441B2 (en) * 2014-06-09 2017-04-25 Omnivision Technologies, Inc. Systems and methods for obtaining image depth information
JP6291632B1 (ja) * 2015-02-19 2018-03-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 赤外線レーザ照明装置
US10148864B2 (en) 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9978154B2 (en) * 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
US11493454B2 (en) * 2015-11-13 2022-11-08 Cognex Corporation System and method for detecting defects on a specular surface with a vision system
JP6865589B2 (ja) * 2017-01-10 2021-04-28 キヤノン株式会社 撮像装置
CN107063117A (zh) * 2017-03-15 2017-08-18 上海大学 基于光场成像的水下激光同步扫描三角测距成像系统和方法
EP3615900A4 (en) * 2017-05-11 2020-12-23 The Trustees of Princeton University BINOCULAR VISION OCCUPANCY DETECTOR
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
KR102342748B1 (ko) * 2019-05-09 2021-12-22 아크소프트 코포레이션 리미티드 이미지 센서 패키지
CN112258565B (zh) * 2019-07-22 2023-03-28 华为技术有限公司 图像处理方法以及装置
CN113155049A (zh) * 2021-03-25 2021-07-23 深圳市海塞姆科技有限公司 光路系统及单目三维图像采集系统的固定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
JP2009017079A (ja) * 2007-07-03 2009-01-22 Sony Corp 撮像装置及び撮像方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748878B2 (ja) 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) 1986-06-11 1987-12-18 Sharp Corp 撮像装置
JP3676916B2 (ja) 1997-09-25 2005-07-27 日本放送協会 立体撮像装置および立体表示装置
JP2002344999A (ja) 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP3984018B2 (ja) * 2001-10-15 2007-09-26 ペンタックス株式会社 ３次元画像検出装置及び３次元画像検出用アダプタ
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
JP2005061899A (ja) * 2003-08-08 2005-03-10 Nec Saitama Ltd 携帯電話機による距離測定方式
JP4612861B2 (ja) * 2005-04-27 2011-01-12 キヤノン株式会社 撮像装置
EP1860462A1 (de) * 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP5376206B2 (ja) * 2007-12-05 2013-12-25 富士フイルム株式会社 位置特定システムおよびプログラム
JP2009276294A (ja) 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
WO2010058545A1 (ja) * 2008-11-19 2010-05-27 パナソニック株式会社 撮像装置
US20130242083A1 (en) * 2010-10-08 2013-09-19 Timothy A. Potts Retro-reflective imaging
KR101686079B1 (ko) * 2010-12-27 2016-12-13 삼성전자주식회사 깊이 영상 생성 장치 및 방법
WO2013064507A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with overlapping segments of image copies interleaved onto sensor array

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
JP2009017079A (ja) * 2007-07-03 2009-01-22 Sony Corp 撮像装置及び撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110470214A (zh) * 2018-05-09 2019-11-19 韩华精密机械株式会社 组件拾取设备
CN110470214B (zh) * 2018-05-09 2023-04-07 韩华精密机械株式会社 组件拾取设备
CN110425983A (zh) * 2019-07-26 2019-11-08 杭州电子科技大学 一种基于偏振多光谱的单目视觉三维重建测距方法
CN110425983B (zh) * 2019-07-26 2021-04-06 杭州电子科技大学 一种基于偏振多光谱的单目视觉三维重建测距方法

Also Published As

Publication number Publication date
CN103168272B (zh) 2017-06-09
CN103168272A (zh) 2013-06-19
JPWO2013054469A1 (ja) 2015-03-30
JP5923755B2 (ja) 2016-05-25
US9456198B2 (en) 2016-09-27
US20130188026A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
JP5923755B2 (ja) 奥行き推定撮像装置および撮像素子
US9237281B2 (en) Image sensor comprising plural pixels including a microlens and plural photoelectric conversion portions and image pickup apparatus comprising same
JP6260006B2 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
USRE48548E1 (en) Image sensor and imaging device
EP3092788B1 (en) Imaging device
JP2012182332A (ja) 撮像素子および撮像装置
WO1999044096A2 (en) Aperture coded camera for three-dimensional imaging
US20140071322A1 (en) Image pickup apparatus with image pickup device and control method for image pickup apparatus
US10171732B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images
US20180270409A1 (en) Image pickup apparatus and image pickup system
JP2013124985A (ja) 複眼式撮像装置および測距装置
JP2019041178A (ja) 撮像素子およびこの撮像素子を用いた撮像装置
JP2002191060A (ja) ３次元撮像装量
JP2009250685A (ja) 距離測定装置および距離測定方法
JP2013106217A (ja) 奥行き推定撮像装置
CN112335049B (zh) 成像组件、触摸屏、摄像模组、智能终端、相机和距离测量方法
JP2011172174A (ja) 撮像装置、距離画像取得装置、及びこれらの製造方法
JP2015121778A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
WO2020213610A1 (ja) 撮像素子及び撮像装置
WO2022163306A1 (ja) 撮像装置、および撮像方法
JP6127973B2 (ja) 撮像装置及び撮像装置用の撮像素子
JP2020178120A (ja) 撮像素子及び撮像装置
JP2021019230A (ja) 撮像素子および撮像装置
JPS6295086A (ja) ビデオカメラ用フアインダ−

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012554905

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13813503

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12839357

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12839357

Country of ref document: EP

Kind code of ref document: A1