WO2014188018A1 - Integración monolítica de lentes plenópticas sobre sustratos fotosensores - Google Patents

Integración monolítica de lentes plenópticas sobre sustratos fotosensores Download PDF

Info

Publication number
WO2014188018A1
WO2014188018A1 PCT/ES2013/070855 ES2013070855W WO2014188018A1 WO 2014188018 A1 WO2014188018 A1 WO 2014188018A1 ES 2013070855 W ES2013070855 W ES 2013070855W WO 2014188018 A1 WO2014188018 A1 WO 2014188018A1
Authority
WO
WIPO (PCT)
Prior art keywords
lenses
photo
sensors
micro
sensor
Prior art date
Application number
PCT/ES2013/070855
Other languages
English (en)
French (fr)
Inventor
Jorge Vicente Blasco Claret
Original Assignee
BLASCO WHYTE, Isabel Lena
BLASCO WHYTE, Carmen Victoria
BLASCO WHYTE, William Jorge
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BLASCO WHYTE, Isabel Lena, BLASCO WHYTE, Carmen Victoria, BLASCO WHYTE, William Jorge filed Critical BLASCO WHYTE, Isabel Lena
Priority to EP13885219.9A priority Critical patent/EP3007228B1/en
Priority to CN201380078180.9A priority patent/CN105900238B/zh
Priority to EP21155638.6A priority patent/EP3916786A3/en
Priority to US14/892,854 priority patent/US9647150B2/en
Priority to CN201910229720.8A priority patent/CN110061018B/zh
Priority to ES13885219T priority patent/ES2872927T3/es
Priority to JP2016514448A priority patent/JP6480919B2/ja
Publication of WO2014188018A1 publication Critical patent/WO2014188018A1/es

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/0232—Optical elements or arrangements associated with the device
    • H01L31/02327—Optical elements or arrangements associated with the device the optical elements being integrated or being directly associated to the device, e.g. back reflectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001—Technical content checked by a classifier
    • H01L2924/0002—Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Definitions

  • the implementations of the invention are related to wafer-level optical designs and the creation of "sandwiches" of various optoelectronic and optical wafers, giving rise to sensors that can be used in digital cameras, mobile phones, tablets, laptops and in general consumer goods that incorporate cameras, especially but not exclusively in combination with CMOS image sensors.
  • CMOS image sensors Various structures of the image sensor and a method for manufacturing it are described. 2. State of the prior art.
  • Figure 2 (again reproduced from US patent 8,290,358 B l) illustrates a second implementation of the prior art of a plenopic camera, which uses a single lens or lens (at the top of the image) and a micro set -lenses (or array of micro-lenses) that can for example include 100,000 small lenses (or many more in recent implementations) located side by side forming a two-dimensional pattern (the array of micro lenses, marked with an arrow in Figure 2 is located in said figure at the point where the three rays cross).
  • Said array of micro-lenses is typically located at a small distance (about half a millimeter) from a photo-sensor (lower part of the image) which may be a CMOS sensor (Complementary Metal Oxide Semiconductor), CCD (Charge Coupled Device) or any other past, present or future photo-sensor technology.
  • CMOS sensor Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the plane of the array of micro-lenses is parallel to the plane of the photo-sensor.
  • micro-images The image captured by the sensors of the plenopic camera described in the previous paragraph is actually a set (array) of small images of the lens / main objective of the camera, these images are usually called "micro-images".
  • the structure "micro lens / sensor” described allows to capture at each point not only the luminous intensity, but also the distribution of luminous intensity in different directions.
  • Each of the several micro-lenses separates the beam coming to it from the main lens in rays from different positions of the main lens.
  • the light rays are stored as pixels in the photo-sensor, and the set of pixels under each micro-lens composes an image of n-pixels called macro-pixel (marked with a key in Figure 2).
  • the lower part of the image describes the assembly already assembled, while the upper part of the image describes the various pieces of said assembly.
  • the “Digital back” gives strength to the whole mechanics, while carrying out the functions of printed circuit board in which the "Chip package” is inserted (chip with its respective input-output pins that are plugged into the “Digital back"), said chip includes the “Photosensor” (Photosensor), and on them a “Base p ⁇ ate” (or base) mounted on the Photosensor, as well as a “Microlens array” (or array of micro-lenses) , mechanically fixed to a “Lens holder", this is coupled to the "Baseplate” (base), with a “Separation springs” (or separation springs) maintaining a certain distance between the micro-lenses and the photo-sensor, some “ Adjustment screws “(or adjustment screws) located in three positions control the distance and parallelism of the photo-sensor planes and the array of micro-lenses. This figure does not show the main lens of the
  • the array of micro-lenses and the input lens are added to said structure thanks to the introduction of a third tube (as described in Figure 7.C).
  • a third tube as described in Figure 7.C.
  • the principles and algorithms used in this structure are similar to those used in the structures described above: "obtain a sampling of the light field from multiple images”.
  • A including a lens input 12 that sends the light to a "array of micro-lenses” 14 (including a transparent substrate 14b and the micro-lenses themselves 14a) and is finally sent to an "image capture element" 16 containing pixels, such as photo diodes, which convert light energy into electrical energy, said element is formed by a semiconductor substrate 16a, polarization and reading circuits (not shown in the figure) that supply electrical power and read the pixels 16b formed in the substrate 16a, color filters 16c (for example red, green or blue) corresponding to each pixel 16b, arranged in standard formats such as for example the Bayer format, and finally a small micro-lens 16d option Onal on each color filter, whose task is to concentrate the beam of incident light on each of the photo-sensors (pixelslob).
  • a lens input 12 that sends the light to a "array of micro-lenses" 14 (including a transparent substrate 14b and the micro-lenses themselves 14a) and is finally sent to an “image capture element
  • the input lens 12 is positioned by means of a cylinder 62, which is held in place by a support 64 placed on the transparent substrate 40; a "protective frame against external light" 52 is installed externally to said structure as the outer cover of the whole structure, to prevent the entry of light from the substrate 16a or the chip 50, said cover is only interrupted by the electrodes 54, that electrically connect said structure to the external electronic system.
  • the history of light field cameras has been a parallel evolution of three fields, optics (as we explained above), algorithms (starting from the pixels of the photo-sensors form images with new features: different focus, totally focused, 3D images, etc.) and microelectronics / micro-optics, obtaining photo-sensors with increasingly evolved characteristics (in terms of number of Megapixels, luminosity, contrast, etc.).
  • the initiatives described in the previous two paragraphs were among the first where the processing and fabrication of the optical elements uses techniques similar to those used in microelectronics, giving rise to manufacturing techniques at the wafer level that drastically cheapens costs, while offering very high quality and reproducibility levels.
  • Color filters are usually manufactured by photolithographic methods, in which each color-sensitive layer is deposited, partially exposed to light (with a negative shading pattern in photo-lithographic masks) and positive (developed), although it is also can form by injection printing.
  • Micro-lenses usually made with thermoplastic resins or transparent photoresist materials
  • A, FSI the silicon process is carried out to create the photo-sensors and both the area between different photo-sensors and the area on them is used for the metallic layers that carry the different electrical signals (polarization and reading of the photo-sensors, power voltages, etc., etc.), said layers of metallization offer opaque structures that deteriorate the light efficiency of the sensor; the solution to this problem is immediate, the connections and metallizations are carried out on the opposite side of the substrate to which the photo-sensors have been created (figure 9.b) thus eliminating the opaque layers between the photo-sensor and the color filter, thus improving the luminance efficiency.
  • the promotional materials of the Apple iPADs reveal that their cameras among other features have back lighting or BSI.
  • Other advantages provided by the BSI technology are that they allow optical modules of smaller dimensions, allow wider openings (faster lenses) and allow to design higher quality zooms.
  • Both the ground pins and the pins of the photo-sensors are electrically isolated from the substrate by a dielectric layer 112.
  • a transparent substrate 160 glass or quartz
  • a conductive layer 134 is placed on the semiconductor substrate and the lenses, whose function is to protect the entire sensory structure against electromagnetic noise interference , since said layer is earthed through the layer 101 and the pins 114b.
  • an opaque layer 136 (which can be as simple as a simple opaque paint) can be used on the conductive layer 134 in order to obtain a better light insulation of the structure.
  • this structure can be subjected to a process of cutting (dicing) or separation of each of the sub-modules built in a wafer, then reusing the usual techniques of packaging of microelectronics, such as BGA (Ball Grid Arrays) ) or "solder balls" located on the bottom of the chip, normally available in the packaging of modern high-density chips (represented in the figure with the numbers 118b and 118a), which allows a very high and dense number of pins input and output, very convenient to rapidly dump a growing number of mega-pixels with new higher-density CMOS technologies commonly used in sensors.
  • BGA Ball Grid Arrays
  • the monolithic term extends in the present invention to that of electro-optical sensors that incorporate in a single structure, processed fundamentally by methods normally used in micro-electronics and / or micro-optics, not only the photo-sensors (usually CMOS or CCD sensors or any others, built on a substrate, usually a semiconductor substrate) but also several layers of optical materials located on the sensor substrate, which optically process the light rays before their arrival at the sensors.
  • the main novelty of this patent consists of the use of optical layers of different refractive index located on each other, including phantom micro-lenses, the lower one of said layers on a photo-sensor substrate (CCD, CMOS or any other technology of photo-sensors passed, present or future).
  • a photo-sensor substrate CCD, CMOS or any other technology of photo-sensors passed, present or future.
  • a substrate 1 on which the photo-sensors 2 are located can be for example a semiconductor substrate, the photo sensors can be for example photodiodes, phototransistors or other photo-sensors, the semiconductor technology used can be a CMOS technology or any other technology past, present or future to manufacture photo-sensors and / or electronic circuits); the figure shows only one dimension, but the sensors are built in two dimensions, forming a "two-dimensional array”.
  • the color filters usually contain the three fundamental colors (green 6, red 7 and blue 8, or amanillo, magenta and cyan if we use another system of fundamental colors), the array of colors has evolved from a structure like that of figure 10.A to a structure as that of figures 10.B and 10.C;
  • a micro-lens is usually placed for each photo-sensor / filter, the objective of said micro-lenses is to concentrate the light beam towards the inside (on the active area of the photosensor), since the sum of all the areas of all the sensors 2 is lower than the area of the substrate 1 due to the need to use said space for polarization and reading circuits; an optical layer with a low refreshment index 4 is placed on the micro-lenses 3, so that the light beams are refracted towards the photo-sensors concentrating all the light
  • the micro-electronic manufacturing processes not only allow very high precisions for the design of the micro-lenses 3 and 5 of figure 14 (spherical, aspheric, convex, concave or following any pattern desired by the designer) but allow to control perfectly other design parameters such as distance x, distance that depending on the algorithm is usually equal to the focal length of the plenoptic lens 5 or smaller / greater for other types of algorithms.
  • distance x distance that depending on the algorithm is usually equal to the focal length of the plenoptic lens 5 or smaller / greater for other types of algorithms.
  • FIG. 15 said distance has been reduced compared to FIG. 14 (allowing algorithms with higher discrimination in terms of number of pixels, but lower discrimination in terms of directionality of the incident rays in the sensor).
  • convex lenses (5) are sometimes used, as shown in figure 16 (where shows an implementation in which two layers with low refractive index have been used (labeled in the figure "Refractive Index 2" and “Index Spare 3 ") between the micro-lenses 3 and 5 (constructed with materials of high refractive index: labeled in the figure” Refractive Index 1 "and” Refill Index 4 "), with the sole objective of providing more flexibility to the manufacturing process and the interfaces between different refractive indexes).
  • Figure 17 shows a structure with only the pixel micro-lenses and on them the plenoptic micro-lenses, in said figure both the first and the second are spherical, while in figure 18 they have an aspheric structure.
  • the distance between the diameter of the "phenoptic semi-spheres" and the diameter of the "pixel hemispheres” is in the figure equal to zero (both hemispheres rest on the substrate), but it would be possible to place the phenoptic semi-spheres at a greater distance from the substrate, creating structures similar to those in Figure 8.C.
  • a transparent photoresist material of high refractive index (labeled "Refractive Index 3 or Refractive Index 1" in figure 21) is again placed, giving rise to the structure of figure 21
  • This material with a high refractive index can be similar or even the same material with which the pixel micro lenses have been built (Refractive Index-1); the next step is a new photolithographic process, selective and positive lighting (etching), finally giving rise to the structure of figure 22, this structure is a monolithic version (built on a single chip) of the traditional plenoptic structure exposed in the figures 2, 3, 4, 6.A, 6.B, 8. A and 8.B; and as such susceptible to apply the same algorithms of recognition of the direction of arrival of the rays, refocus, distances from the camera to the real point, etc.
  • Said structure, described in figure 23, will need a greater distance between the surface of the substrate (for example of silicon in the CMOS processes) and the surface of the micro-lenses (with a distance between the pixel micro-lenses and the phenoptics (xl) which may be the same or different from the one in figure 14), since the incident light beam must be concentrated in a smaller area, and this is the reason why the material 3 has increased its thickness in the figure 23, which can be done in a relatively simple way by processing optical materials similar to microelectronic materials, such as the deposition of thicker transparent materials followed by a photo-lithography (illuminated and positive) to create the surfaces of the micro-lenses with very high precision, both for spherical and aspherical micro-lenses.
  • Figure 24 shows how a micro-lens is built on a square area of a photo-sensor substrate (the square of the line with the smallest thickness is the area of the photo-sensor), the high precision of the photolithographic processes allows designing and manufacture instead of semi-spherical lenses with circular bases, spherical lenses with square bases. Said manufacturing processes allow structures in which the lens on each photo-sensor, instead of placing a single hemisphere, places 4 portions of hemisphere intersecting each other in 4 lines.
  • Figure 25.A shows two pixels built next to each other, the square in dim line is the photo-sensor built on the substrate (such as a CMOS substrate), between these photo-sensors and the thick line squares appears the area of reserved substrate for polarization and reading electronic circuits, the blades (X-shaped) located at the top constitute the intersections between the 4 portions of hemisphere that constitute each microlens associated to each pixel.
  • the substrate such as a CMOS substrate
  • the blades (X-shaped) located at the top constitute the intersections between the 4 portions of hemisphere that constitute each microlens associated to each pixel.
  • FIG 25. B shows a top view of an array of 4 by 4 pixels
  • Figure 26 shows said structure seen transversally, also showing the plenoptic lens 5, located at a distance x2 from the pixel lenses 3, with a transparent material of low refractive index 4 between the plenoptic lens 5 and the pixel lenses 3.
  • each micro-lens 5 of the array of plenoptic micro-lenses contains 16 pixels (4 by 4).
  • the microelectronic manufacturing process has evolved towards more dense (more sub-micronic) structures, increasing the percentage of area used for the photo-sensors 2 versus the total area of the substrate 1.
  • the vertical size of the micro-lenses of pixel has also been reduced by increasing percentage of area 2 (since the incident light beam on the pixel 3 micro-lens does not need so much vertical distance to concentrate on the area of the photo-sensor 2.
  • the optional filters of the three fundamental colors (8, 6 and 7) are still in place in the case of a color sensor.
  • the different optical layers can be formed by processes well known in the state of the art such as CVD (Chemical Vapor Deposition or Chemical Vapor Deposition), LPCVD (Low Pressure Chemical Vapor Deposition or Chemical Vapor Deposition at Low Pressure), PECVD (Plasma Enhanced Chemical Vapor Deposition or Chemical Vapor Deposition Improved by Plasma), HIDPCVD (High Density Plasma Chemical Vapor Deposition or Chemical Deposition of High Density Plasma Vapor) or other deposition processes of materials normally used in micro-electronics, such as simple deposition by gravitational force of a molten material, methods used in this case to carry out depositions of optical materials.
  • CVD Chemical Vapor Deposition or Chemical Vapor Deposition
  • LPCVD Low Pressure Chemical Vapor Deposition or Chemical Vapor Deposition at Low Pressure
  • PECVD Pasma Enhanced Chemical Vapor Deposition or Chemical Vapor Deposition Improved by Plasma
  • HIDPCVD High Density
  • the phantom lens 5, as well as the pixel lens 3, can be manufactured with photo-sensitive glass materials, allowing fabrications at the wafer level, with a high number of image sensors per wafer and minimal human intervention, lowering costs of production.
  • the lenses (both phantom and plenipic) can also be manufactured at the wafer level with thermoplastic resins, transparent photoresist materials or transparent polymers with a high refractive index which, after positive (for example by chemical attack) can be subjected to a curing process (either with UV rays - ultra violet - or with a thermal cure at high temperature).
  • the UV curing can be carried out selectively to then remove the uncured parts by a suitable solvent.
  • organic-inorganic hybrid polymers and / or UV-refractive high-refractive index tails. It is possible to use solid polymers whose attack is possible in uncured areas or liquid polymers that under certain conditions (temperature or UV illumination) become transparent solids with true refractive indexes, thus giving rise to the optical structures.
  • a material suitable for high refractive index lenses is silicon nitride (with a refractive index of 2.0), which can be deposited by means of a plasma CVD process (Chemical Plasma Vapor Deposition), another alternative is to form a polyimide resin film (with a refractive index of 1.6 to 1, 7) by means of a deposit on the substrate and subsequent spin (spinning), giving then the suitable form to create the lens with the solvents appropriate to the type of material used, for example the silicon nitride is attachable by dry-etching (or attack dry chemical).
  • the possibilities offered by the micro-electronic manufacturing processes give the designer the flexibility to build lenses with different materials, with different Abbe number, different dispersion characteristics, with variable pitch, or with different refractive indexes, lenses circular (or semi-spherical / serniaspheric if we see them in 3 dimensions), square (superimposing 4 spherical / aspherical caps that intersect each other if we see them in three dimensions), hexagonal (overlapping 6 spherical / aspheric caps seen in 3 dimensions), even triangular, the same can be said of the design of the pixels, opening the possibility for the design of novel topologies that lend themselves to better efficiencies of the plenum algorithms and offer better light performance (such as hexagonal micro-lenses covering 6 triangular pixels) , also expanding the flexibility to offer very flexible designs for achromatic lenses.
  • the material 4 can be any transparent material of low replacement index.
  • the quotients between the refractive indices of materials 5 and 4 should be as high as possible.
  • the possibilities for the transparent layers 4 of low refractive index are glass, plastics, inorganic co-polymers or organic polymers, with refractive indexes around 1.5.
  • a well-known method for reducing the refractive index of an organic polymer is to give its composition a higher fluorine content, however this fact gives the material of lower solubility to water and oils and makes it more difficult to have solid joints in the interfaces between high and low refractive index materials, a possible solution to this problem is to bathe the high refractive index transparent surface on which the low refractive index material (or the low surface refractive index on which the high refractive index material is to be placed) with a plasma treatment rich in oxygen (in an atmosphere with a high oxygen content); However, if this process is not carried out in a very controlled manner, it can give rise to problems of adhesiveness, deteriorating the quality and manufacturing performance.
  • Fluoro-organic or fluoro-inorganic components are usually only used in the first layers immediately above the sensors, despite their low refractive indexes (between 1.3 or 1.4 for acrylic fluororesin films, usually formed by centrifugation).
  • -spin coating- or magnesium fluoride films normally deposited by spraying -sputtering
  • forming "sandwiches" with layers of various refractive indexes basing the design not only on the criterion of refractive index but also in criteria of adhesiveness between layers.
  • Other transparent materials used immediately on the photo-sensors can be (in a single layer or in multilayer structures, which can include a layer of passivation and / or planarization) which have traditionally been used in the dielectrics between the metal layers and / or poly-silicon normally used to establish the interconnections between the active elements of the chips, materials such as silicon oxide, FSG (Fluorinated Silicate Glass, or carbon doped oxide, MSQ (Methyl-Silsesqui) -Oxane), HSQ (Hydrogen Silse-Quioxane), FTEOS (Fluor Tetra Ethyl Ortho Silicate), or BPSG (Boro-Phospho Silicate Glass, or Glass of Phospho-Silicate-Boron), the latter usually formed by a thermal reflow process around of 900 degrees Celsius, the former formed by CVD, LPCVD, PECVD, HIPCVD, or other deposition methods well known in the state of the art.
  • materials such as
  • the passivation or planarization layer (not shown in the figures for simplicity and for being well known in the state of the art) can be formed by various compounds, such as Silicon Nitride (SiN or S ⁇ 3N4), Silicon OxiNitride (SiON), Silicon Carbide (SiC), Oxi Silicon Carbide (SiOC) or other combinations with similar properties.
  • Color filters are usually protected by placing additional transparent silicon oxide layers or combinations thereof, also not drawn in the figures for the sake of simplicity, which can be deposited by CVD, LPCVD, PECVD, HDPCVD or other well-known deposition processes in the state of art.
  • Said layer can be a single layer or a "sandwich layer" as seen in figure 16, in which for example a first layer of low refractive index (refractive index 2) has been added by such processes such as XCVD, deposition-centrifugation or other well-known processes in the state of the art, and on this layer a substrate has also been linked with a low refractive index (Refractive Index 3 in Figure 16).
  • a first layer of low refractive index reffractive index 2
  • a substrate has also been linked with a low refractive index (Refractive Index 3 in Figure 16).
  • a photosensitive layer with a material such as a positive photoresistor is placed, which layer is located on the layer "Refractive Index 2".
  • Said photosensitive layer is selectively exposed to light by means of a gray mask, for example by illuminating with I-line lamps (lamps with very high pressure mercury vapor), in this way the structure is exposed to different intensities of light, with what after the exposure to light and its subsequent positive the layer of photoresistive material offers a curvature exactly equal to that of the upper part of figure 20.
  • the layer of photoresist material for example by chemical etching with dry solvents (dry etching), which typically involves bombarding said layer with ions (usually a plasma of reactive gases such as fluorocarbonates, oxygen, chlorine, boron trichloride). and sometimes adding hydrogen, argon, helium, and other gases).
  • dry etching typically involves bombarding said layer with ions (usually a plasma of reactive gases such as fluorocarbonates, oxygen, chlorine, boron trichloride). and sometimes adding hydrogen, argon, helium, and other gases).
  • Said attack in addition to "cleaning” the photo-sensitive material begins to "clean” (empty) the material of the lower layer, transferring it to the layer of low refractive index 4 ("Refractive Index 2" of Figure 19) the same curve that had initially formed in the photoresist material.
  • the precision and reproducibility using dry-etching are excellent. Liquid solvents could also be used, but these attack in a more anisotropic manner. In figure
  • Refractive Index 3 or refractive index 1 in Figure 21
  • a third layer of material with a high refractive index is created, which can be deposited with techniques similar to those explained above, such as CVD, LPCVD , PECVD, HDPCVD or other deposition processes well known in the state of the art. If said layer "Refractive index 3 or refractive index 1" has been deposited with a photosensitive transparent material (resins, glasses or other photo-sensitive materials) it would suffice to submit said structure to a light exposure similar to that described above for below subjecting said layer to the attack that selectively dissolves the material, giving rise to the final structure of Figure 22 (a plenoptic structure obtained using manufacturing methods normally used in microelectronics).
  • Another alternative is to repeat the previously used process, place on the structure of figure 21 a layer of photoresistive material, subject it to a selective illumination with, for example, a mask of gray levels, and subject the resulting structure to the final attack , with for example dry-etching (attack with dry solvents) to not only clean the structure of the photo-resistive material, but to bring to the layer 5 of high refractive index the profile initially created in the photo-resistive material.
  • the invention has been described with an example of a determined photo-lithography, but other known or future photolithographic techniques are also usable in the implementation of the inventions, such as EUV (Extreme Ultra Violet, or Ultra Extreme Violet), from which it is expected definitions reaching 13.5 nanometers.
  • EUV Extreme Ultra Violet, or Ultra Extreme Violet
  • the upper optical layers of Figures 14, 15, 16, 17 and 18 can also be constructed by replication techniques, that is, a polymer (which can be viscous or viscous) is deposited in a mold with the negative of the lens shape. liquid at room temperature), on this mold the sensor wafer is inverted, so that it has physical contact with the polymer-liquid or viscous (on the side of the photo-sensors, and the pixel lenses), to then solidify the polymer by exposure to ultraviolet light or by high temperatures. The polymer will give rise to a transparent solid with the appropriate refractive index, thus forming the matrix of phantom micro-lenses.
  • a polymer which can be viscous or viscous
  • the color filters are created by depositing layers of each of the three colors through consecutive photolithographic processes, to then cover all of them with a layer of protection or passivation.
  • Pixel lenses are manufactured with methods similar to those described for the plenoptic lens.
  • the tolerances of the lateral assembly are determined by the accuracy of the photolithographic masks (capable of reproducing in very high volumes, hundreds of millions of units, patterns as small as 28 nm and lower in the not too distant future), resulting in integrated products monolithically with an extremely simple manufacturing technology that will make the miniaturized products compete and surpass in some of its characteristics products with large optics and weight.
  • tolerances of the order of nanometers in the physical implementation of micro-lenses the aberrations can be much lower than in large cameras.
  • Optical wafers and sensor wafers can be manufactured separately and put together later (by welding, anodic bonding or gluing processes) thanks to "alignment marks" on both wafers, offering great precision with the help of modern mask aligners; or the optical layers can be created with various patterns on the sensor wafer by means of deposition techniques, epitaxial growth or other techniques well known in the state of the art.
  • the last steps consist in the cutting (dicing) of the wafer in the various individual chips and its subsequent encapsulation, normally with a plastic or ceramic packaging (which includes an opening with a transparent material at the top to let the light pass to the sensor), and with metal pins for the electrical interconnections of the chip with the external system, or well in the case of chips with very high pin density, instead of metal pins you can use an array of solder balls located on the bottom of the chip (BGA or Ball Grid Array), similar to the solder balls in the lower part of figure 13; Even at the cost of increasing unit costs, depending on the manufacturing processes and the availability of certain instruments, it would also be possible to carry out the cutting (dicing) of the optical wafer and the electronic wafer separately, and to place each device optical on each sensor prior to the encapsulation process.
  • the outer lenses that carry the incident light to a sensor as proposed, or any sensor in general, to see reduced the thickness of the sensor (with a total thickness less than 1 centimeter, even lower, for example being part of a mobile phone ) receive the beams of light rays in a less perpendicular way in the micro-lenses of the periphery of the plenóptico array than in the micro-lenses of the center of the array, with which the light is not directed efficiently towards the photo-sensors, giving place at maximum efficiency in the center of the photo-sensor and deteriorating gradually towards its periphery.
  • the incident light in the plenoptic micro-lenses of the periphery of the array is more inclined than in the center of the array, resulting in a shallower focal distance seen from the pixels at the periphery of the photo-sensor than from the pixels in the center of the photo-sensor.
  • the first is to space the pixels of the photo-sensor differently in its periphery than in its center (placing the "disks” or “squares” or “hexagons” or “any geometric shape” designed for the pixels corresponding to the plenoptic micro-lenses of the periphery of the array furthest from their adjacent "disks or squares or hexagons” than in the central zone), while increasing the area of the pixels at the periphery of the sensor versus the the pixels in the center of the sensor.
  • Said solution is not efficient since it increases the area of the substrate (for example silicon in a CMOS process) and increases the cost of the product, but we have considered it appropriate to mention it.
  • the second solution to the problem described in the previous paragraph is a design of the plenoptic micro-lenses with different profiles in the center than in the periphery of the plenopic array, in order to guarantee greater deviations for beams with less perpendicularity in the periphery than in the center of the plenóptico array;
  • the micro-lenses are increasingly asymmetric with respect to their axis with In order to ensure that the perpendicularity of the beams in the photo-sensor is exactly as efficient in its central area as in its periphery.
  • Said solution a practically non-viable implementation in discrete optics, is extremely efficient and easy to implement using photolithographic processes for the manufacture of micro-lenses such as those disclosed in the inventions.
  • a third solution is to vary the distance between micro-lenses and the sensor in a gradual way (the parameter x in Figure 14), so that this distance is smaller in the periphery of the plenopticic array than in its center. Only a single micro-lens (or two or four at most) is (are) perpendicular (is) to the optical axis of the system, the micro-lens in the center of the sensor, since x will be variable in the rest of micro- lenses, increasingly inclined in front of the optical axis and increasingly closer to the plane of sensors as we move away from the center of the plenóptico array.
  • This solution also practically non-viable in discrete optics, is efficient and easy to implement using photolithographic processes.
  • structures such as the one in figure 14.b are also manufactured, where the layer of material 4 (with a low refractive index) has been replaced by air (or other inert, non-corrosive and good gaseous materials). properties against possible penetrations of humidity); the distance between the photo-sensors 2 (or their associated lenses 3) and the "array of microlenses" 5 are maintained thanks to the spacers 4 '.
  • Said structure is also relatively simple and with low manufacturing costs using "wafer stacking" techniques: on a photo-sensor wafer common in the state of the art in sensors (containing the substrate 1, the photo-sensors 2, the filters of colors 6, 7 and 8, and optionally the micro-lenses 3) a second wafer with spacers (4 ') is placed and on this a third wafer is placed with the micro-lenses 5.
  • the techniques of mask alignment for The process of manufacturing and aligning wafers in microelectronic manufacturing processes gives excellent results with optical wafers and aligning the electronic wafers with the optical wafers. Normally standard 8 or 12 inch wafers are used.
  • the material of the spacer wafer 4 ' must absorb the light, avoiding any type of reflection that would give rise to "double images"; said objective can be achieved in a simple manner as the coating of the side walls of the separator 4 'with anti-reflective material, for example by means of sprays.
  • the wafer of separators 4 ' can be fixed to the sensor wafer by welding, anodic bonding, by temperature or by means of adhesives which can be curing resins by ultraviolet light or with temperature hardening; the deposition of said resins must be done with symmetry with respect to the optical axis, avoiding the areas of the optical path of the light towards the sensor in a selective way by means of printing or spray techniques.
  • the micro-lens wafer 5 is fixed to the separating wafer 4 '.
  • the 4 'spacer wafer is manufactured by attacking physically or chemically (etching) a glass substrate of the same dimensions as the sensor wafer (8 or 12 inches normally), the openings can also be carried out by laser cutting, powder jets under pressure or ultrasonic perforation.
  • Materials 4 'and 5 can in another option be constructed as a single piece instead of as two different pieces. In this way the wafer 5 + 4 'is placed on the photo-sensor wafer (1 + 2 + 6 + 7 + 8 + 3).
  • these can be constructed by depositing a dry photoresist material on the semiconductor substrate (already with its color filters and pixel lenses) and its subsequent chemical attack or physical (etching) to open the separation gaps that will align the pixel lenses (3) with the phantom micro-lenses 5.
  • micro-lens wafer 5 There are multiple procedures for manufacturing the micro-lens wafer 5. Although in Figure 14.b only the final product is appreciated, this may have been obtained thanks to the use of a thin substrate with convex-flat micro-lenses formed in its part. upper and flat convex in its lower part.
  • the micro-lenses can be made with organic glass materials, epoxies, acrylic materials or silicone.
  • the micro-lenses can also be formed by replication processes, where polymers or curable liquids are used (by UV light or heat), the micro-lenses can be built on a thin transparent substrate of glass, plastic, resin or quartz. In this way, spherical, aspheric or other lenses can be constructed.
  • They can also be built using photolithographic attack techniques of materials sensitive to chemical or physical attacks, or depositing photoresistive materials on the micro-lens substrate, positivizing them to give them the shape of the lenses thanks to the use of a gray mask, to then subject the structure to a physical or chemical attack (etching) in order to bring the shape of the photoresist material to the material that will later constitute the lens; carrying out said process on one side of the micro-lens wafer or on both sides.
  • photolithographic attack techniques of materials sensitive to chemical or physical attacks, or depositing photoresistive materials on the micro-lens substrate, positivizing them to give them the shape of the lenses thanks to the use of a gray mask, to then subject the structure to a physical or chemical attack (etching) in order to bring the shape of the photoresist material to the material that will later constitute the lens; carrying out said process on one side of the micro-lens wafer or on both sides.
  • micro-lens wafer 5 After the alignment and fixing of the micro-lens wafer 5 to the wafer of separators 4 ', it is possible to proceed to cut (dicing) or separation of each one of the plenum sensors contained in the wafer.
  • the micro-lenses 5 in the upper part of the structure can be covered with layers to filter the IR light (infra-red), thus increasing the signal-to-noise ratio in the sensors.
  • the use of anti-reflective layers prevents part of the incident light power from reaching the sensor.
  • the plenum algorithms used by the technology described in Figure 14.b place the sensor plane at a distance equal to or greater than the focal length of the input optical system.
  • meta-materials with a refractive index of less than 1 not only reduces the distance x between the pixel micro-lenses and the phantom micro-lenses (see figure 22.B) but also allows to enter in a micro-thickness -optical optics for the manufacturing processes described in the inventions (a few millimeters) and a higher number of lenses as part of a single monolithic sensor.
  • a meta-material 4 of a refractive index less than 1 decreases the distance x, and enables the deposition of a second meta-material layer 4 'on the phantom micro-lenses, on which, for example, 5 'concave / convex lenses can be constructed, or bi-concave 5 "lenses, or concave / convex 5'" lenses, or bi-convex 5 “lenses, or a combination of several lenses with a "sandwich” structure similar to that shown in Figure 22.B, giving rise to a monolithic sensor that integrates all the lenses of a micro camera, thanks to the use of the photolithographic techniques described in the invention, it rivals some features, such as optical aberrations and light efficiency, with its large equivalents, surpassing those cameras in ease of production in very high volumes at very low cost.
  • Figure 22.B is the micro-optical equivalent of a structure like that of Figure 6.B (except for the zoom, which can also be built micro-optically, as we will see later); if the layer 5 (of Figure 22.B) is located at the top of the "optical-sandwich" we arrive at integrated structures equivalent to those of Figures 5.A and 5.B; or if the second one is located (immediately under the input lens that separates the micro-camera from the object object) we arrive at micro-optical equivalents of the lenses of figures 7. A and 7.C.
  • the low refractive index materials (4) of Figure 22.B have been replaced by air (or another gas), and the separation between the high refractive index lenses (5), including the micro lenses, it has been guaranteed thanks to the use of separating wafers, so that on the sensor wafer (including layers 1, 2, 6, 7, 8 and optionally 3) a first separation wafer ⁇ "" 'has been placed , on which a wafer of phantom micro-lenses 5 has been placed, on this a second separation wafer has been placed that serves as support for the placement of a first lens (convex-concave in this example), and so on, being constructed a micro camera with excellent performance suitable for use in portable devices (mobile phones, laptops, tablets, etc., etc.).
  • This invention is a super-set of that shown in Figure 14.b, thanks to the addition of more lenses by the stacking of optical wafers on the sensor wafer and on the first wafer of all-optical lenses.
  • the non-transparent substrate prevents the "noise-light" from reaching the sensor; it is possible, for example, to replicate convex-concave lenses in the hollows of the substrate, thereby reducing the thickness of the resulting micro-objective.
  • convex-concave lenses Another less efficient way to construct convex-concave lenses is to replicate the convex surface on the upper part of a thin transparent substrate, with its corresponding concavity replicated in the lower part of the substrate.
  • Optical wafers can be constructed in the manner described with any profile, not only those set forth in Figure 22.C but any anamorphic lens. Stacking wafers as described above, or with any other combination easily extrapolated for experts in optics, in this way can be manufactured almost any type of monolithically integrated mini-camera.
  • glass wafers or photosensitive transparent materials with high refractive indexes are produced that can be attacked by photolithographic techniques well known in the state of the art, giving rise to any type of lenses with any profile in both sides of the lens, with enviable aberrations compared to the methods of manufacturing large lenses thanks to the small tolerances achievable using photolithographic techniques.
  • Another possibility is to deposit a photo-resistive material on the optical wafer, then submitting said material to an exhibition by means of gray masks, positivizing it in order to create the optical profile of the desired lens on the photoresistive material, then proceed with a physical or chemical attack (etching) that will not only remove the photoresist material, but will reproduce the profile of the surface obtained photolithographically on the optical substrate.
  • etching a physical or chemical attack
  • the micro-lens wafer could be the last instead of the first (counting from the surface of the pixel lenses), resulting in a monolithic implementation similar to the discrete implementation (with individual lenses) in Figure 5.
  • the micro-lens wafer could be placed between the input lens and the other lenses (located between the MLA and the sensor), resulting in a monolithic implementation of the structure in Figures 7.A, 7.B and 7.C.
  • a completely different field of innovation in this invention is the number of integrable megapixels (both in large cameras and mini-cameras for mobile phones, tablets and portable devices), in theory being able to follow the Moore's law applied in microelectronics, but in practice limited by the luminous inefficiency of very small pixels, the size of the pixels can not be diminished indefinitely, because for very small dimensions the wave nature of the light begins to manifest, the light beams that the targets, the micro - Plenópticas lenses and the pixel micro-lenses carry on the pixels (photo-sensors) do not have a density of flat luminous power and independent of the distances on the surface of the sensor, the power density has a form like that of the figure 27.A (assuming circular lenses in the luminous path), with a central region where almost all the energy is concentrated (in the inside the pixel, the so-called Airy circle, in dark gray at the bottom of figure 27.A), and some side lobes getting smaller as we move away from the center of the pixel (Airy rings
  • the pixel lenses are not perfect hemispheres (or semi-spheres), but four semi-spherical (or semi-aspherical) sectors intersecting each other to concentrate the light beam on a square photo-sensor (see figure 24), the circles and rings of Airy are not perfect circles, but four circular sectors composing what we have called a "quadri-circle" like that observed in the upper part of figure 27. B (compared with an Airy circle) usual in the lower part of the figure). However, this peculiarity does not subtract generality from the inventions described below. If the pixel lenses were hexagonal, a power distribution in the form of a "hexa-circle" would result.
  • the secondary power tails may fall into the adjacent pixels instead of the correct photo-sensor, resulting in inter-pixel interference.
  • micro-lenses hemispheres, or rather “quadri-spheres", formed by four spherical or aspherical sectors, or “hexa-spheres” in case of micro - hexagonal lenses, or trian-spheres or of any other geometric shape
  • figure 28 illustrates for example a deep sub-micron process, where the photo-sensor area it is very high with respect to the total area of the substrate (photo-sensor and polarization and reading circuits).
  • the thickness in vertical direction of the material of the pixel micro-lens (3) would be very high, increasing the overall size of the structure.
  • the thickness of the pixel micro-lens 3 in vertical direction is so low, and the space in vertical direction from the surface of the pixel micro-lens to the photo-sensor is so small, that with a thickness very low of this structure we carry almost 100% of the light energy received through the main objective of the camera to the useful surface of the photo-sensors.
  • micro-lenses of pixel are also micro-lenses of filtered (as illustrated in the lower part of Figure 32), or mixed solutions in which filtering is carried out in both micro-lens arrays.
  • Said structures are also more efficient from the practical point of view, since the dispersion characteristics, refractive index and other optical characteristics of the materials used to manufacture the pixel micro-lenses and the plenoptic micro-lenses, are not always independent of the frequency (of the color), allowing designs in which the pixel and plenópticas micro-pixels are different and optimized for each color, and allowing the use of optical materials of less sophistication and price.
  • Said filters can be located at any point (or at several points) of the optical path, in themselves or combined with the color filters (thanks to the use of filters not only of one color but of very high selectivity for the frequency ranges whose Noise is wanted to be avoided), in this way the infrared filters can be placed on the plenópticas micro-lenses, forming part of the material of the plenópticas micro-lenses, between the pixel micro-lenses and the substrate, forming part of the micro- pixel lenses, on the pixel micro-lenses, in the low refractive index material located between the pixel micro-lenses and the plenoptic micro-lenses (for example in material 4 in Figure 29). They can also be constructed through a combination of several of the described methods.
  • Figure 34 shows the distribution of light energy on 4 adjacent pixels forming a Bayer pattern (square of 4 pixels green, red, blue, green) commonly used for color sensors.
  • the upper part of the figure includes the irradiance from the pixel micro-lenses and their corresponding color filters, in this case we can see that the area of the photo-sensor (inner square surrounding the letters V, R, A and V) and the pixel micro-lens have been designed so that the main irradiation lobe reaches the surface of the photo-sensor, and the second and third lobes hit an opaque zone, thus avoiding appreciable amounts of noise in adjacent photo-sensors. .
  • Figure 35 illustrates the phenomenon in a clearer way (using the notation of the previous figures): the photo-sensors 2 have been built on the substrate 1, and on these the green 6 and red 7 filters have been deposited; however, over the "non-active area of the substrate" (the area not used by the photo-sensors, normally used for polarization circuits, AJO converters and photo-sensor reading), a layer of opaque material has been deposited allows the secondary lobes to reach the substrate, depending on the technology said material can also play the role of "metal of connection "for photo-sensors (normally used in CMOS processes), although instead of metal it may include other opaque elements normally used or used in the manufacture of semiconductors.
  • Figure 36 shows the Yotsuba pattern, the other pattern normally used in color sensors (with white pixels arranged diagonally, and between them diagonal green and diagonal pixels with alternating pixels: 2 blue and 2 red), the discussions carried out previously they are also applicable to said pattern.
  • the "micro-pixel / filter lens” set falls at the first irradiance zero of the adjacent pixels (as illustrated in FIGS. 33.B and 38), for example in a Bayer structure, irradiations in red and red colors result. green in the upper part of the pixels in figure 38.
  • the problem of inter pixel interference is minimized by the orthogonality of colors, the lower part of figure 38 reflects the irradiance of the green color when crossing the red filter, with a filtering attenuation of 6 decibels (continuous line) and 10 dB (dotted line): obviously you can not increase filter attenuation indefinitely, since these would reach a prohibitive thickness, however it is easy to reach a with acceptable contrasts for the vast majority of applications.
  • figure 40 shows that not all the main irradiation lobe is projected on a sensory surface, part of the main lobe falls in an opaque zone (a deterioration of the efficiency that we must accept for the sake of miniaturization), but more serious still is the fact that the second and third lobes of a green pixel introduce noise in another adjacent green pixel, increasing the inter-pixel noise, as shown in figure 40, since there is no type of attenuation with filters as it is neighbors of the same color.
  • Figure 40 also shows how the irradiance of the red pixel (and also of the blue, which although it is not drawn would be exactly the same) in the green zone is noticeably attenuated by the filters.
  • the interference between the two contiguous green pixels in a diagonal direction is less than what would be the interference between two red pixels contiguous diagonally with the Yotsuba pattern, since the wavelength is smaller and therefore Airy green circles are smaller than red ones.
  • the green pixel of the left part of the image in it a triangular area on the right side of the green photo-sensor has been extracted from its right corner (converting it into non-active area of the substrate), further distancing the distance between the two adjacent green photo-sensors in the zone of maximum penetration of green light from the micro-lenses / filters of the adjacent green sensor, remember that the light comes from the upper part of the structure, is diffracted by the micro-lenses to take it over the sensor and finally filtered by the color filters, which can be part of the same material of the micro-lenses or be flat layers of color located under the micro-lenses.
  • the part of the irradiance that passes between two higher contiguous green areas will be the one that passes through the vertex where the sensors of the 3 colors (the 4 adjacent pixels) converge for a double reason, firstly instead of moving away from the vertex, the distance and therefore the attenuation is increased (away from the center of the Airy disk), secondly the green light coming from the adjacent green micro-lens that reaches points away from the vertex (in the areas of confluence green-red and green-blue) passes through the red and blue filters before reaching the green zone, attenuating to extremes that make it imperceptible in the adjacent green area, and this is the reason why truncate the sensor by extracting a triangular area of the sensor area, creating a very wide "non-sensitive" area in the area closest to the adjacent green sensor, but narrowing as the distance of the adjacent sensor increases, and reaches its maximum of non-sensitive area in the area of maximum penetration of green light from the adjacent sensor diagonally, light that has penetrate
  • Some microelectronic technologies do not allow in their rules of design and photo-lithography lines drawn at any angle, only vertical, horizontal and at angles of 45 degrees, in which case the triangle of absence of active area of the photo-sensor will be drawn from the shape shown in figure 41 to the right of the green photo-sensor to the right of the Bayer pattern.
  • Other technologies are even more restrictive and allow only vertical and horizontal lines, in which case the "triangle" of absence of active area would be designed as shown in the corner to the left of the green sensor on the left of Figure 41 .
  • Structures such as those described in this document can also be part of 3D chips, where in the lower part of structures like those shown in figures 14, 14.b, 22.B and 22.C, instead of being welded on a circuit printed is placed on another integrated circuit with some specific function, such as for example the plenum processing.
  • micro-mechanical zooms in which some of the optical sandwich lenses move perpendicular to the axial axis driven by MEMS (Micro-Electro-Mechanical Systems, or Micro Electro Mechanical Systems). ), thus being able to refocus the image or use the structure as an optical zoom.
  • MEMS Micro-Electro-Mechanical Systems, or Micro Electro Mechanical Systems
  • the aforementioned inventions can be combined with externally controllable static zooms, in which some (s) of the optical sandwich lenses change their focal distance (s) under the control of an external parameter (a voltage, a current or another parameter), thus being able to refocus the image or use the structure as an optical zoom.
  • an external parameter a voltage, a current or another parameter
  • Photo-sensors using pixel geometries such as those described in figure 41 can be used to capture images of a very high density of pixels in very small space with contrast results between pixels significantly improving the state of the art, increasing the signal-to-noise ratio between adjacent pixels; For example, applications for mobile phone cameras, tablets or laptops with a very high megapixel number and growing increasingly small size (sensors occupy less than 1 cm x lcm).
  • Said invention is applicable both to traditional sensors (without phantom microlenses) and to light field sensors (with phantom micro-lenses) but especially beneficial in the latter case, since the balance between the number of pixels per micro-lens ( to discriminate more directions of arrival) and a number of micro-lenses increasingly higher in order to increase the number of usable megapixels will push sensors with a total number of pixels beyond the current state of art, leaving the limits imposed by Moore's Law but mitigating phenomena as much as possible waveforms of light that give rise to unwanted refractions for very small pixel dimensions.
  • the aforementioned inventions improve the state of the art in terms of pixel density to the point where the dominant factor that begins to deteriorate the efficiency of sensors / cameras is the light diffraction, especially in the red colors, of greater wavelength and therefore the first ones that begin to be diffracted.
  • These inventions can be used in normal sensors or in plenum sensors as in the applications described below.
  • Inventions such as those shown in figures 14, 14.b, 15, 16, 17, 18, 22, 22.B, 22.C, 23 and 26 can give rise to plenum sensors in which, with an appropriate process of information in the pixels, information can be obtained not only on the color intensities in the pixels, but also the direction of arrival of the light rays, giving rise to novel applications in which it is possible to refocus the images in a plane from the real world different from the shot focused on photography, it is possible to obtain fully focused images (in all points of the photograph), obtain 3D images (of three dimensions) for 3D displays on cinema screens or on monitors with glasses active (with stereoscopic images), on screens / monitors with passive glasses or on new and future 3D displays / displays without glasses.
  • the number of pixels and the number of possible planes focused at different depths increases drastically thanks to the use of inventions.
  • Full-spectrum sensors such as those developed with the described inventions can be used in small portable cameras with a relatively small number of photo-sensors, even in professional cameras with a sophisticated optics and a very high number of pixels.
  • the main advantages compared to other phenoptic techniques, which integrate the plenoptic micro-lenses at a discrete level in the lenses of the camera or with a discrete micro-lens array located in a plane in front of the plane of the sensor, is the capacity of the process in wafers using manufacturing techniques similar to those used in microelectronics also for optics, obtaining very high quality phenoptic sensors at very low costs and with manufacturing processes that they lend themselves to productions in very high volume, in addition to reducing optical aberrations and increasing the number of micro-lenses per unit area, as well as the total number of pixels.
  • One of the drawbacks of the phenoptic technologies is the number of resulting pixels, which depending on the algorithms used, and the possible super-resolution and interpolation techniques of intermediate pixels in the final image (post-processing with phenoptic algorithms) will result to a number of pixels in the image lower than the number of pixels of the sensor; at the lower end some algorithms offer a number of pixels equal to the number of plenoptic micro-lenses. This fact, together with the fact that in order to discriminate the directions of arrival of rays, a number of pixels per micro-lens as high as possible would result in micro-lenses and sensors beyond the state of the art.
  • microelectronic processes described in the inventions of the present patent in particular the photolithographic processes are capable of producing a number of micro-lenses notably higher than the maximum of 500,000 micro-lenses announced on the previous web, in addition, the fact that is mentioned in its documentation about the "radio" of the micro-lenses makes us think that these are circular instead of square, always less efficient, since the area between several circles makes waste some of the pixels of the photo-sensor, and also wastes some of the incident light energy.
  • the design criteria were a sensor for a 3D cinema camera with the objective of obtaining 4000 x 3000 pixels, it could again be designed with 12 Mega-lenses in the plenóptico array of microlenses (192 mega-pixels in the sensor assuming 16 pixels per micro-lens, with only 7 focused planes), or 2000 x 1500 (3 mega-lenses) in the plenopic array (48 mega pixels in the sensor) and a super-resolution factor 2; both specifications (especially the first) are far beyond the state of the art, and can only be implemented thanks to the use of micro-electronic techniques such as those set forth in the present invention, both for the plenoptic micro-lenses and for the sensors of such high integration density with adequate levels of inter-pixel noise. If in addition one pretended to have more than 7 planes focused in order to increase the quality of the 3D image, the specifications would surpass by far the best dreams about the state of the art.
  • Figure 3 Projection of rays on a plenopic sensor in the case that the focused plane is behind the sensor.
  • Figure 4 Projection of rays on a plenopic sensor in the case that the focused plane is in front of the sensor.
  • Figure 5.A Implementation of plenoptic lenses in which the micro-lenses are located between the main lens of the camera and the object space.
  • Figure 5.B Lenses plenópticas of the figure 5.A mounted between the space object (to the left of the image), the main lens and a camera (to the right).
  • Figure 6.A Implementation of an array of plenoptic micro-lenses located at a very small distance (0.5 millimeters) from the plane of the photo-sensors.
  • Figure 6.B One of the first industrial implementations of the invention of Figure 6.A (an array of plenoptic micro-lenses located at a very small distance from the plane of the photo-sensors).
  • Figure 7.A Optical diagram of an implementation in which the plenópticas micro-lenses form part of a lens (group of lenses), placing them between the first lens of entrance of the objective (to the left) and the rest of lenses (to the right).
  • Figure 7.B Mechanical-optical scheme of one of the pieces for the implementation of the structure of figure 7.A.
  • Figure 7.C Mechanical-optical scheme of an implementation of the structure of figure 7. A.
  • Figure 8.A Implementation where the plenoptic micro-lenses (built on a transparent substrate 14b at a very small distance from the photo-sensors) are located on a substrate of photo-sensors, using the resin separators 42 between the photo-sensors and the substrate. the micro-lenses).
  • Figure 8.B Implementation similar to figure 8.A where the micro-lenses are located on the upper part of the transparent substrate.
  • FIG. 8C Monolithic implementation of a structure that places an array of micro-lenses 10 above an array of sensors 30 constructed on a substrate of photo-sensors 100.
  • Figure 9.A State of the art of a photo-sensor substrate using the FSI technique (Front Side Illumination or Front Lighting).
  • Figure 9.B State of the art of a photo-sensor substrate using the BSI technique (Back Side Illumination or Back Lighting).
  • Figure 10 A. State of the art in the construction of color filters and pixel micro-lenses on a photo-sensor substrate.
  • Figure 10.B Evolution of the state of the art in the construction of color filters and pixel micro-lenses on a photo-sensor substrate beyond Figure 10.A.
  • Figure 10.C Top view of figure 10.B.
  • Camera module for portable applications mobile phone, tablet, laptop
  • photo-sensor mounted on a flexible printed circuit
  • a mechanical support to place the lenses on the photo-sensor.
  • Camera module for portable applications mobile phone, tablet, laptop
  • photo-sensor mounted in a package for integrated circuit
  • a lens (126) of two elements on a transparent substrate all wrapped in an opaque conductive structure, which protects from electromagnetic radiation and gives mechanical strength to the whole.
  • Camera module for portable applications (mobile phone, tablet, laptop), similar to figure 12 but mounting two lenses of two elements on two transparent substrates, and a third transparent substrate to protect the structure.
  • Figure 14 Implementation of some of the inventions of this patent, containing a substrate (1) on which photo-sensors (2) are built, on which have been placed color filters (6, 7 and 8), micro- pixel lenses (3), a material of low refractive index (4) and the plenoptic micro-lenses (5).
  • Figure 14.b Implementation similar to the previous one (figure 14) in which the material of low refractive index has been replaced by air (or another gas) and the micro-lens wafer is kept at a certain distance from the sensor wafer thanks to the use of separators.
  • FIGs 19, 20, 21, 22 Detail of a manufacturing sequence of one of the inventions: plenoptic micro-lenses on pixel micro-lenses using for optics processes normally used in microelectronics, processes that lend themselves to the processing of wafers for manufacturing very high volumes with very high quality and very low cost.
  • Figure 22.B Miniaturization of sizes thanks to the use of materials (or meta-materials) with refractive index lower than 1 (layers 4, 4 ', 4 ", ⁇ "' and 4 "") that makes possible the monolithic implementation of a complete objective including several lenses (5 “", 5 “', 5" ' , 5 ') and the plenoptic micro lenses (5).
  • Figure 22.C Implementation of the invention with functionality similar to that of Figure 22.B substituting the material of low refractive index by air (or other gas) and keeping the optical wafers separated between them and the optoelectronic wafer by means of spacers.
  • FIG 23 Example of an implementation of the inventions similar to those of figure 14 in which the area of the photo-sensors is relatively low with respect to the total area of the photo-sensor substrate and therefore the plenoptic micro-lenses ( 3) have a thickness on the substrate higher than in the implementation seen in Figure 14.
  • Figure 24 Detail of the construction of a micro-lens (composed of 4 spherical or aspherical sectors) on a photo-sensor and the part of the substrate closest to said photo-sensor.
  • Figure 25.A Top view of figure 24, showing the construction of two micro-lenses on two photo-sensors, including the part of the substrate closest to said photo-sensors.
  • Figure 25.B Top view of figure 24, showing the construction of an array of 4x4 micro-lenses on 4x4 photo-sensors and the part of the substrate closest to said photo-sensors.
  • Figure 26 Transverse view of figure 25. B, showing the construction of a plenoptic micro-lens (5), on a material of low refractive index (4), located on the array of 4x4 pixel micro-lenses (3) ), located on an array of 4x4 color filters (8, 6, 7), in turn located on an array of 4x4 photo-sensors (2) built on a substrate (1).
  • Figure 27.A Irradiance distribution associated with the image of a point object on the plane of sensors in a system with a circular exit pupil, giving rise to the discs and Airy rings (the upper part of the figure shows the distribution of irradiance in the vertical axis in front of the distance of the central point on the horizontal axis, in the lower part the power levels are shown by the intensity of the grays).
  • Figure 27.B Representation (in the upper part of the figure) of a "quadri-circle" of Airy resulting in the use of pixel micro-lenses such as those described in figures 24, 25. A, and 25. B, compared to what would be the circle and rings of Airy (in the lower part of the figure) if the optics had a circular shape.
  • Figure 28 Micro pixel lenses overlapping each other in a topology in which the percentage of photo-sensor area versus the total area of the substrate is high and the thickness of the micro-lenses to fulfill their function imposes said overlap.
  • FIG 29 Side section of figure 28 including substrate (1), photo-sensors (2), color filters (6, 7, 8), pixel microlenses (3), layer of low refractive index (4) and plenoptic micro-lens (5). Note that layer 4 of low refractive index never touches the color filters (8, 6 and 7).
  • Figure 30 Structure in which the color filters have been grouped by plenopic micro-lens, and have been distributed between the layer under the pixel micro-lenses and over the plenopic micro lenses. They can also fulfill the mission of infrared filtering.
  • Figure 31 Structure in which the color filters have been grouped by a plenoptic micro-lens, providing said plenoptic micro-lenses with a second function, being constructed with a material that besides producing the required change in the refractive index is selective to the passage of colors.
  • Figure 32 Structure in which the color filters have been grouped in the plenópticas micro-lenses and in the pixel micro-lenses, providing all the micro-lenses (phenoptics and pixel) of a second function, to be constructed with a material that in addition to producing the required change in the refractive index is selective to the passage of colors.
  • Figure 33.A Irradiance distributions associated to the images of two contiguous point objects in the object space projected onto two contiguous pixels in the sensor plane through two adjacent micro-lenses, giving rise to two non-overlapping Airy disks and two Airy rings interfering between them in an area between both pixels.
  • Figure 33.B Irradiance distributions associated with the images of four contiguous point objects in the object space, projected onto four contiguous pixels in the sensor plane through four contiguous micro-lenses.
  • the pixels have been reduced to their minimum acceptable dimensions in order to avoid diffractions caused by nature wave of light; in order to increase the pixel density, the (maximum) peaks of the Airy disks have been placed on the irradiation zeros of the adjacent pixels.
  • Figure 34 Irradiance distributions in a Bayer pattern on a green pixel and a red pixel (on blue would be similar) in which the micro-lenses, the areas of the photo-sensors and the opaque zones between photo-sensors, they have been dimensioned so that the main lobe (the Airy circle) is fully collected in the area of the photo-sensor, and the second and third lobes (second and third Airy rings) impinge on an opaque zone without photo-sensors.
  • the main lobe the Airy circle
  • second and third lobes second and third Airy rings
  • Figure 35 Cross-sectional view of Figure 34, where the photo-sensor substrate (1), the photosensors (2), the green (6) and red (7) color filters and the color filters are observed (from bottom to top).
  • the color filters, in the area of the substrate in which there are no photo-sensors, are located on a metal layer (used for polarization and / or reading) or any other opaque material.
  • the magnitude of the irradiance of the two green and red Airy circles contained entirely in the photo-sensor area is shown.
  • the minimum distance between adjacent pixels of the same color will be set by the maximum acceptable signal-to-noise ratio for the application, which will deteriorate drastically as soon as the first Airy lobe of a pixel begins to interfere with the first Airy lobe of a adjacent pixel of the same color (both green in a Bayer pattern).
  • the minimum distance between contiguous pixels of the same color will be set by the maximum acceptable signal-to-noise ratio for the application, which will drastically deteriorate as soon as the first Airy lobe of a pixel begins to interfere with the first Airy lobe of a adjacent pixel of the same color (both green in a Bayer pattern), which can be minimized by special geometries for adjacent photo-sensors of the same color pixels, in which the vertices of the squares of the photo-sensors move away of the neighboring pixel not building active photo-sensor area in areas near the neighboring pixel.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Integración monolítica de una estructura plenóptica en un sensor de imagen merced a utilizar un material de bajo índice de refracción sobre el sustrato de foto-sensores (incluyendo o sin incluir filtros de colores y/o micro-lentes de píxel) y situar un material de alto índice de refracción sobre dicho material de bajo índice de refracción con el fin de crear las micro-lentes plenópticas. Creación de lentes plenópticas directamente sobre el sustrato de foto-sensores. Trazado de foto- sensores con alta densidad de integración a distancias mínimas con el objeto de minimizar interferencias inter-pixel, siguiendo en el extremo de densidad de integración geometrías de "cuadrado deformado" en sus vértices adyacentes a un píxel del mismo color, vaciando dichos vértices de área foto-sensitiva con el fin de alejarlos del ruido de pixeles adyacentes del mismo color (irradiancias de círculos y anillos de Airy de pixeles vecinos del mismo color). Aumento de la eficiencia lumínica merced a estructuras de micro-lentes plenópticas con distancias variables al sustrato (menores en su periferia) y/o con perfiles más asimétricos en su periferia y/o pixeles de diferente tamaño y forma hacia la periferia del sensor. Fabricación de micro- objetivos merced a la creación de capas alternadas de bajo y de alto índice de refracción.

Description

INTEGRACIÓN MONOLÍTICA DE LENTES PLENÓPTICAS
SOBRE SUSTRATOS FOTOSENSORES
1. Campo técnico de aplicación
La invención presentada en este documento está relacionada con la captura de imágenes, más específicamente con la adquisición de imágenes plenópticas con un sensor de estado-sólido, donde no sólo se adquiere la imagen en sí misma, sino también la dirección de llegada de los rayos luminosos. Este campo comprende elementos ópticos, sensores opto-electrónicos (que convierten intensidades luminosas en corriente eléctricas) y elementos de procesado de las imágenes adquiridas. Se pretende abaratar costes de producción de los sensores de imágenes al tiempo que se incrementa su calidad, se reduce su tamaño y se ofrece la capacidad de fabricación en muy altos volúmenes. Las implementaciones de la invención están relacionadas con diseños ópticos a nivel de oblea y con la creación de "sandwiches" de varias obleas optoelectrónicas y ópticas, dando lugar a sensores que se pueden utilizar en cámaras digitales, teléfonos móviles, tabletas, ordenadores portátiles y en general bienes de consumo que incorporen cámaras, especialmente pero no exclusivamente en combinación con sensores de imagen CMOS. Se describen varias estructuras del sensor de imágenes y un método para fabricarlo. 2. Estado de la técnica anterior.
Se suelen denominar "circuitos integrados monolíticos" a los obtenidos mediante técnicas comunes de diseño de chips, en los que el material básico (sustrato) contiene no solo los elementos activos (transistores, sensores, etc., etc.) sino también los elementos de interconexión. El empleo de este término refiere a la integración de tecnologías y funciones normalmente diferentes, por ejemplo la utilización de circuitos analógicos y digitales en un mismo chip, o la integración de semiconductores de potencia junto con circuitos analógicos, digitales, procesado de señal, sensores y circuitos de protección en el mismo chip. En optoelectrónica "integración monolítica" se refiere a la tendencia a integrar en un solo "circuito integrado electro-óptico" funciones tales como fibras ópticas de entrada/salida, guía-ondas ópticas en el propio chip, normalmente fabricadas en "materiales electrónicos", láseres, detectores, y todo con sus circuitos electrónicos de polarización, control y gestión del sistema.
En una cámara normal la película (o los sensores en una cámara digital) captura(n) una imagen de dos dimensiones donde cada punto de la película (o píxel del sensor en una cámara digital) integra(n) todos los rayos de luz que llegan a dicho punto desde cualquier dirección. Una cámara plenóptica (o cámara de campo luminoso o campo de luz) es capaz de muestrear una distribución de la luz y también la dirección de los rayos de luz en un campo luminoso.
La captura de la dirección de llegada permite sintetizar "nuevas vistas" o nuevas imágenes como por ejemplo imágenes de 3 dimensiones, imágenes re-enfocadas en distintos puntos e imágenes "completamente enfocadas" (independientemente de la distancia de los objetos en el mundo real). La figura 1 (reproducida de la patente US 8,290,358 Bl ; inventor Todor G. Georgiev) ilustra una implementación del estado del arte anterior, un array de cámaras (con dos o más lentes u objetivos, en el caso de la figura tres lentes en la parte superior de la figura). Cada lente/objetivo enfoca imágenes del mundo real en una determinada parte del foto-sensor (fina lámina en la parte inferior de la imagen), aunque también sería posible hacerlo en varios foto-sensores. Las varias imágenes capturadas pueden ser combinadas para formar una imagen única.
La figura 2 (de nuevo reproducida de la patente US 8,290,358 B l) ilustra una segunda implementación del estado del arte anterior de una cámara plenóptica, que utiliza un único objetivo o lente (en la parte superior de la imagen) y un conjunto de micro-lentes (o array de micro-lentes) que puede por ejemplo incluir 100.000 pequeñas lentes (o muchas más en implementaciones recientes) situadas una al lado de la otra formando un patrón bidimensional (el array de micro-lentes, marcado con una flecha en la figura 2, está situado en dicha figura en el punto donde se cruzan los tres rayos). Dicho array de micro-lentes está típicamente situado a una pequeña distancia (alrededor de medio milímetro) de un foto-sensor (parte inferior de la imagen) que puede ser un sensor CMOS (Complementary Metal Oxide Semiconductor), CCD (Charge Coupled Device) o cualquier otra tecnología de foto-sensores pasada, presente o futura. El plano del array de micro-lentes es paralelo al plano del foto-sensor.
La imagen capturada por los sensores de la cámara plenóptica descrita en el párrafo anterior es en realidad un conjunto (array) de pequeñas imágenes de la lente/objetivo principal de la cámara, dichas imágenes se suelen denominar "micro-imágenes". La estructura "micro lente/sensor" descrita permite capturar en cada punto no sólo la intensidad luminosa, sino también la distribución de intensidad luminosa en diferentes direcciones. Cada una de las varias micro-lentes separa el haz llegando hasta ella desde la lente principal en rayos procedentes de diferentes posiciones de la lente principal. Los rayos de luz se almacenan como píxeles en el foto-sensor, y el conjunto de píxeles bajo cada micro-lente compone una imagen de n-píxeles denominada macro-píxel (marcada con una llave en la figura 2).
Un tercer tipo de "cámaras de campo de luz" es similar al de la figura 2, excepto que el array de microlentes es sustituido por un array de aperturas (pequeños orificios sobre una superficie opaca que dejan pasar la luz). Un cuarto tipo de "cámaras plenópticas" es similar a la figura 2, excepto que una "máscara-sinusoidal" no refractiva reemplaza a las micro-lentes, dicha máscara modula la luz incidente pero no la refracta, como resultado la imagen capturada es la convolucion del campo luminoso incidente con el campo luminoso de la máscara; esta cámara captura el campo de luz directamente en el dominio de frecuencias de Fourier. De esta manera, un sensor de píxeles de dos dimensiones (2D) representa una combinación lineal codificada de varios rayos incidentes, dicha combinación lineal puede ser decodificada por software para obtener toda la información del campo de luz (incluyendo la dirección de llegada de los rayos).
Las figuras 3 y 4 (reproducidas de la patente GB 2488905; inventores Norihito Hiasa y Koshi Hatakeyama) ilustran la propagación de los rayos de luz y el origen de los algoritmos que se pueden utilizar para diversas tareas como el re-enfoque, el cálculo de las distancias, etc. La figura 3 ilustra el caso en el que un par de puntos del plano objeto llegarían a enfocarse en un plano que está situado posteriormente al plano de las micro-lentes, sin embargo dichos rayos nunca llegan a enfocarse, son difractados por las micro-lentes y dan lugar a varios píxeles en el sensor (en lugar de un solo píxel en el plano en el que estarían enfocados). La figura 4 ilustra el caso en el que un par de puntos del plano objeto llegan a enfocarse en un plano anterior al plano de las micro-lentes y a partir de dicho punto vuelven a divergir, son difractados por las micro- lentes y dan lugar a varios píxeles en el plano del sensor. En ambos casos, si el sensor (o la película) estuvieran en el lugar donde están las micro-lentes, la imagen de dichos puntos aparecería borrosa; sin embargo, con una cámara plenóptica, donde es posible averiguar la dirección de llegada de los rayos, existen múltiples algoritmos para calcular lo que sería la imagen enfocada de los puntos descritos en las figuras 3 y 4, calculando el "trazado inverso" de los rayos luminosos (desde el sensor en el espacio imagen a la derecha de la lente principal y hasta el plano de enfoque, e incluso hasta el origen de dichos rayos en el espacio objeto, a la izquierda de la lente). Por semejanza de triángulos del espacio imagen con el espacio objeto, es también posible calcular la distancia desde el plano de enfoque (201) a los planos descritos en las figuras 3 y 4 (101, 102 y 202), incluso es posible calcular la distancia entre los píxeles de una imagen hasta el origen de dichos píxeles en el espacio objeto, con dicha información es entonces posible crear imágenes para televisores de 3-dimensiones (3D), re-enfocar imágenes, producir imágenes totalmente enfocadas, etc., etc.
A pesar de que hemos descrito la cámara plenóptica con implementaciones posteriores, ésta se describió ya en 1908 por Lippman, pero las dificultades tecnológicas no permitieron avances significativos hasta el 2004, año en que Ng, Hanrahan, Levoy y Horowitz en su patente US 2007/025074 (así como en el "Stanford Tech Report" CTSR 2005-02) describieron una cámara cuya resolución era la misma que el número de micro-lentes utilizadas. En Octubre del 2004 Ng, Hanrahan, Horowitz y Levoy (patente US 2012/0300097) describen un sensor plenóptico con una estructura similar a la descrita en las figuras 2, 3 y 4. Reproducimos dicho sensor en la figura 6.A, pasando a comentar sus principales partes. La parte inferior de la imagen describe el conjunto ya ensamblado, mientras la parte superior de la imagen describe las diversas piezas de dicho conjunto. El "Digital back" da solidez al mecánica al conjunto, al tiempo que lleva a cabo las funciones de placa de circuito impreso en la que se enchufa el "Chip package" (chip con sus respectivos pines de entrada-salida que se enchufan en el "Digital back"), dicho chip incluye el "Photosensor" (Fotosensor), y sobre ellos una "Base píate" (o base) montada sobre el Photosensor, así como también un "Microlens array" (o array de micro-lentes), fijado mecánicamente a un "Lens holder", este se acopla al "Baseplate" (base), con unos "Separation springs" (o muelles de separación) manteniendo una cierta distancia entre las micro-lentes y el foto-sensor, unas "Adjustment screws" (o tornillos de ajuste) situados en tres posiciones controlan la distancia y el paralelismo de los planos de foto-sensores y el array de micro-lentes. Esta figura no muestra la lente principal de la cámara.
Las ideas expuestas en las patentes anteriores vieron la luz en una de las primeras cámaras plenópticas orientada al mercado de consumo, en 2012 se comenzó la comercialización por parte de la empresa Lytro de la cámara cuyo esquema aparece en la figura 6.B, empresa en cuya plantilla figura uno de los inventores de las patentes mencionadas anteriormente. La figura 6.B (extraída de www.lytro.com) muestra en su parte superior un conjunto de lentes de entrada (un zoom de 8 aumentos y apertura fija f/2), un "sensor de campo de luz" con conceptos similares a los de la figura 6. A (con un "array de micro-lentes" y un "sensor digital de imágenes"), y en la parte inferior de la imagen la "Light field engine" (consistente en cierta capacidad de proceso para implementar los algoritmos plenópticos brevemente mencionados en los párrafos anteriores (fundamentalmente re-enfoque en las primeras versiones de dicho producto)).
En el 2008 Lumsdaine, Georgiev e Intwala describieron un diseño con unas especificaciones más altas en cuanto a resolución efectiva (hasta entonces de tan solo un píxel por micro-lente) que en las patentes mencionadas anteriormente ("A. Lumsdaine and T.Georgiev. Full resolution lightfield rendering. Technical report, Adobe Systems, January 2008", y en la patente US 2009/0041448).
En Octubre del 2009 Georgiev describió (patente US 2010/0020187) una variante diferente en la que a una cámara convencional (con su lente principal situada por delante del sensor) se le añaden varias lentes y varios prismas (el conjunto lentes/prismas obtiene vistas distintas de la misma imagen y las dirige hacia los sensores a través de la lente principal). Dicha patente ofrece fotos del conjunto lentes/prismas (adjuntadas como figura 5.A) y del conjunto "lentes/prismas/lente principal" montado en una cámara (figura 5.B). Las imágenes obtenidas a través de las diversas lentes de entrada se combinan para muestrear el "campo de luz" (o light field).
Con fecha de prioridad en Octubre del 2009, DiFrancesco, Selkirk, Duff, VandeWettering y Flowers, en la patente US 2011/0169994, describen una óptica ligeramente diferente (ver figura 7.A) en la que el "Microlens array" ("Lenslet Array" o "Array de micro-lentes") se sitúa en la parte frontal de un sistema de lentes, pero con una lente de entrada entre dicho array y el espacio objeto. La implementación practica de dicho sistema de lentes (Figura 7.B) se describe con un "tubo frontal" conteniendo las lentes de diámetros superiores y un "tubo posterior" con lentes de más pequeño diámetro en la zona próxima a la conexión de dicha óptica a la cámara. El array de micro-lentes y la lente de entrada se añaden a dicha estructura merced a la introducción de un tercer tubo (tal como se describe en la figura 7.C). Los principios y algoritmos utilizados en dicha estructura son similares a los utilizados en las estructuras descritas anteriormente: "obtener un muestreo del campo de luz a partir de múltiples imágenes".
Al margen del posible posicionamiento que las implementaciones mencionadas anteriormente parecen tener como objetivo, desde prototipos hasta productos orientados al mercado de consumo, pasando por prototipos que persiguen muy alta calidad óptica para aplicaciones sofisticadas, hubo una tendencia simultánea hacia la reducción de volúmenes y costes de fabricación. Ueno, Funaki y Kobayashi en Febrero del 2001 (patente US 2012/0218448) describen un "dispositivo formador de imágenes implementado en estado sólido", en realidad es un pequeño módulo destinado a una cámara (ver Figura 8. A), incluyendo una lente de entrada 12 que envía la luz a un "array de micro-lentes" 14 (incluyendo un sustrato transparente 14b y las micro-lentes propiamente dichas 14a) y es finalmente enviada a un "elemento de captura de imagen" 16 que contiene píxeles, como por ejemplo foto-diodos, que convierten energía luminosa en energía eléctrica, dicho elemento está formado por un sustrato semiconductor 16a, circuitos de polarización y lectura (no mostrados en la figura) que suministran energía eléctrica y leen los píxeles 16b formados en el sustrato 16a, filtros de colores 16c (por ejemplo rojo, verde o azul) correspondientes a cada píxel 16b, dispuestos en formatos normalizados como por ejemplo el formato Bayer, y finalmente una pequeña micro-lente 16d opcional sobre cada filtro de color, cuyo cometido es concentrar el haz de luz incidente sobre cada uno de los foto- sensores (píxeleslób). En la parte superior del conjunto "Sustrato semiconductor/Filtros de colores/micro-lentes de pixel", pero fuera de la zona de los foto-sensores, se sitúan "separadores de resina" 42, cuyo objetivo es mantener la distancia entre los foto-sensores 16 y las micro- lentes 14, éstas forman parte de un conjunto que incluye un "sustrato transparente a la luz" 40, que puede fabricarse con material que deja pasar la luz visible pero elimina la luz infra-roja o próxima al infra-rojo; en el sustrato semiconductor se sitúan "electrodos de lectura y polarización" 44 para los píxeles 16b, dichos electrodos se conectan mediante columnas metálicas 46 que cruzan verticalmente el sustrato semiconductor 16a al chip 50 por medio de los "puntos de contacto" 48; el chip 50 puede contener los circuitos de polarización y procesado de los foto-sensores (píxeles). La lente de entrada 12 se coloca en posición por medio de un cilindro 62, el cual es mantenido en su posición por un soporte 64 colocado sobre el sustrato transparente 40; se instala externamente a dicha estructura un "armazón protector frente a luz externa" 52 como cubierta exterior de toda la estructura, para evitar la entrada de luz desde el sustrato 16a o el chip 50, dicha cubierta es tan solo interrumpida por los electrodos 54, que conectan eléctricamente dicha estructura al sistema electrónico exterior. Dicha patente (en concreto el "Claim" 1) reivindica un sistema de imágenes de estado sólido comprendiendo: un sensor semiconductor compuesto por bloques de pixeles y estos por pixeles; un primer sistema óptico (representado en la figura por la lente 12); un segundo sistema óptico (representado en la figura por las micro-lentes 14), y establece que el plano de formación de imagen del primer sistema óptico (lente 12) cuando el objeto está localizado a distancia infinita debe estar a una distancia del primer sistema óptico (lente 12) superior a la distancia entre el primer sistema óptico (lente 12) y el sensor de imágenes (16).
En Marzo de 2011 , Ueno, Iida y Funaki, en su patente US 2012/0050589 (ver imagen 8.B reproducida de dicha patente) desvelan estructuras ligeramente diferentes a las descritas en el párrafo anterior, por ejemplo con las micro-lentes mirando a la lente de entrada del sistema (en lugar de hacia él sensor) y/o añadiendo filtros de colores (por ejemplo rojo, verde y azul) en las micro-lentes y en el sensor, formando determinados patrones, por ejemplo el patrón Bayer) para que sus sensores de imagen capturen también los colores , y describiendo métodos para fabricar dichas estructuras, donde los filtros de color (y sus sensores asociados) se desvían hacia la periferia del área de formación de imagen (ver figura 8.B), con mayores desviaciones en cuanto más se acercan a la periferia..
El progreso en procesos para fabricación monolítica de sensores, circuitos micro-electrónicos y elementos ópticos como parte de un solo dado (dice) se muestra también en Octubre del 2009 por Brueckner, Duparré, Wippermann, Dannberg y Brauer en su patente US 2011/0228142 Al , una de cuyas implementaciones se reproduce en la figura 8.C. No es una estructura plenóptica, tan solo asigna micro-lentes 10 a grupos de foto-sensores 30' contenidos en un sustrato 100, creando "conos de observación 3D espaciales" (observados en las líneas 410), truncados en su parte más estrecha (situada sobre las micro-lentes) y agrandándose con la distancia, con cierto solapamiento de sus campos de visión en el espacio objeto. Para evitar el ruido de acoplamiento óptico entre los diferentes canales ópticos (crosstalk) asociados a cada micro-lente 10 se sitúan las capas opacas 11 , 12 y 12' que tienen aperturas para tan solo dejar pasar el haz de luz idóneo. Los sustratos transparentes 20, 21 y 22 se construyen con vidrio, plástico o copolimeros inorgánicos (e.g. ORMOCER). Las distancias focales de micro-lentes coinciden con las distancias entre las micro-lentes 10 y los sensores 30', alcanzándose distancias para dichas focales de entre 30 y 3000 mieras, con diámetros de micro-lentes entre 10 y 1000 mieras, un número de micro-lentes entre 4 y 25.000 y un número de entre 10.000 y 10 Mega píxeles o superior. Los sensores 30' crean varias micro-imágenes (entre 4 y 25.000) que posteriormente son combinadas mediante hardware o software adicional. La principal ventaja de dicha estructura es su bajo volumen, ya que no se precisa ninguna lente adicional, estando pensada para aplicaciones portátiles, además de que se presta a procesos de fabricación de alto volumen.
La historia de las cámaras de campo de luz ha sido una evolución paralela de tres campos, la óptica (como hemos explicado anteriormente), los algoritmos (que partiendo desde los píxeles de los foto-sensores forman imágenes con nuevas características: distinto foco, totalmente enfocada, imágenes 3D, etc.) y la microelectrónica/micro-óptica, obteniendo foto-sensores con características cada vez más evolucionadas (en cuanto a número de Megapíxeles, luminosidad, contraste, etc.). Las iniciativas descritas en los dos párrafos anteriores estuvieron entre las primeras donde el procesamiento y fabricación de los elementos ópticos utiliza técnicas similares a las utilizadas en microelectrónica, dando lugar a técnicas de fabricación a nivel de oblea que abaratan drásticamente los costes, al tiempo que ofrecen niveles de calidad y reproducibilidad muy altos. Sin embargo, la formación de micro-lentes y filtros de colores sobre los paneles de fotodiodos en semiconductores se ha venido utilizando en las últimas décadas con una estructura similar a la de la figura 10.A (reproducida de la patente US 2012/0012959 Al ; inventor Po-Shuo Chen), que muestra un típico sensor representativo del estado del arte en tecnología CMOS (Complementary Metal Oxide Semiconductor): de abajo arriba podemos distinguir un sustrato semiconductor en cuyo interior se muestran tres foto-sensores (el de la derecha marcado con flechas), el semiconductor se protege mediante una fina capa de nitruro de silicio, sobre dicho sustrato se sitúan los filtros de colores R (Red-Rojo), G(Green-Verde) y B (Blue-Azul), aunque bien se pudiera utilizar otro sistema de colores fundamentales como el Cyan, amarillo y magenta; finalmente en la parte superior aparecen tres micro-lentes, construidas con materiales ópticos que concentran la luz hacia los foto-sensores, aumentando la eficiencia lumínica de la estructura (normalmente en la mayoría de publicaciones sobre óptica el sensor se representa por un simple plano foto-sensible, como si fuera una tradicional película con una capa foto-sensible continua y con elementos fotosensibles de dimensiones infinitamente pequeñas, pero en realidad los pixeles de cada foto-sensor tienen un tamaño discreto y existen espacios entre ellos para separarlos y albergar los circuitos de polarización y lectura, de ahí la utilidad de las micro-lentes mencionadas). Los filtros de colores se suelen fabricar mediante métodos fotolitográficos, en los que cada capa fotosensible de color, es depositada, expuesta parcialmente a la luz (con un patrón de sombreado negativo en mascaras foto-litográficas) y positivada (developed), aunque también se puede formar por impresión de inyección. Las micro-lentes (normalmente elaboradas con resinas termoplásticas o materiales foto-resistivos transparentes) se suelen formar mediante la deposición de dichos materiales seguida de fotolitografía y proceso térmico, endureciéndose mediante reflujo térmico y curado.
En Julio del 2010 Po-Shuo Chen describió una estructura con mejores características en la patente US 2012/0012959 (Figura 10.B) donde los filtros de colores están separados entre ellos y el array de micro-lentes no presenta huecos entre micro-lentes adyacentes, una vista superior (figura 10.C) muestra la estructura poligonal de dichos filtros de colores (con separaciones entre ellos en las direcciones horizontal y vertical (XI , Yl) menores que en la dirección diagonal (DI). Las bondades de dicha estructura para evitar "crosstalk" (ruido de acoplamiento entre colores) son evidentes, además dicha estructura evita los huecos entre micro-lentes y así aumenta la eficiencia lumínica. Chen también explica que dicha estructura (con huecos entre los filtros de colores) abre la posibilidad de un nuevo método de fabricación para micro-lentes basado en la deposición y procesado térmico, con lo que se abre la flexibilidad de utilizar materiales transparentes no foto-resistivos, como por ejemplo resinas termo-plásticas. Es obvio que un procesado fotolitográfico de cada micro-lente permitirá más altas precisiones que un procesado basado en la deposición del material y un posterior tratamiento térmico, sin embargo se añade flexibilidad al proceso en cuanto a la elección de materiales.
Otro progreso notable ha sido en la iluminación de los sensores, evolucionando desde una tecnología FSI (Front Side Illumination ó Iluminación Frontal) a BSI (Back Side Illumination ó Iluminación Trasera), la diferencia entre ambas se ilustra en la figura 9: en un proceso CMOS normal (figura 9. A, FSI) se lleva a cabo el proceso del silicio para crear los foto-sensores y tanto el área entre diferentes foto-sensores como el área sobre ellos se utiliza para las capas metálicas que llevan las diferentes señales eléctricas (polarización y lectura de los foto-sensores, voltajes de alimentación, etc., etc.), dichas capas de metalización ofrecen estructuras opacas que deterioran la eficiencia lumínica del sensor; la solución a dicho problema es inmediata, se llevan a cabo las conexiones y metalizaciones en el lado del sustrato opuesto al que se han creado los foto-sensores (figura 9.b) eliminando de esta manera las capas opacas entre el foto-sensor y el filtro de colores, mejorando así la eficiencia lumínica. Como anécdota cabe citar que los materiales promocionales de los Apple iPADs desvelan que sus cámaras entre otras características tienen iluminación trasera o BSI. Otras ventajas aportadas por la tecnología BSI son que permiten módulos ópticos de dimensiones más reducidas, permiten aperturas más anchas (lentes más rápidas) y permiten diseñar zooms de más alta calidad.
Hemos descrito por el momento las primeras iniciativas plenópticas llevadas a cabo con óptica discreta de gran tamaño, las primeras iniciativas que sitúan una array de micro-lentes a muy pequeña distancia de sensores CMOS o CCD, otras iniciativas que sitúan las micro-lentes como un módulo añadido a objetivos externos a las cámaras, y por último el primer paso hacia una integración monolítica y el procesado de obleas, donde las micro-lentes se sitúan sobre un sustrato transparente que reposa mediante separadores de resina sobre el sustrato en el que se han fabricado los sensores, por ejemplo sensores CCD o foto-sensores en un proceso de fabricación CMOS sobre un sustrato semiconductor.
Una de las principales mejoras de una las invenciones expuestas en el presente documento radica en que vamos un paso más allá hacia la integración monolítica, dando lugar a estructuras procesadas sobre una sola oblea, en lugar de estructuras ópticas y electrónicas procesadas en obleas diferentes y después juntadas mediante separadores, dando lugar a mejores características ópticas y a métodos de producción de más bajo coste y más alta calidad.
También se ha dado un rápido repaso al estado del arte en foto-sensores, especialmente los sensores en tecnología CMOS, cada vez con más megapíxeles, evolucionando hacia estructuras BSI (Back Side Ilumination), con filtros de colores cada vez más sofisticados y estructuras que sitúan una micro-lente por encima de cada foto-sensor de cara a concentrar la luz en el área activa, evitando desperdiciar energía incidente en el área del semiconductor que tan solo contiene circuitos de polarización o de lectura.
Por último, y antes de entrar de lleno en la descripción de la invención, repasaremos las varias tendencias de montaje del ensamblado completo de la óptica con sus respectivos sensores. En primer lugar, un sensor plenóptico instalado en una cámara comercial (presente o futura) que podría tener objetivos normales como los descritos en la figura 7.B (o de menor o mayor sofisticación, objetivos fijos o zooms), la única diferencia frente a una cámara actual (además de las micro-lentes del sensor plenóptico) es el post-proceso de los píxeles registrados en el sensor. En segundo lugar, cámaras comercialmente disponibles hoy en día (y futuras cámaras) podrían tener micro-lentes montadas en un objetivo externo como el descrito en la figura 7.C (u otros similares). Dichas tendencias facilitarán cámaras con una gran definición en cuanto a número de megapíxeles (ya que es relativamente sencillo fabricar muchos megapíxeles en un sensor cuyas dimensiones horizontal y vertical son varios centímetros cuadrados) y una gran calidad de la óptica merced al gran tamaño de las lentes, lo que garantizará unas bajas aberraciones ópticas y un alta eficiencia lumínica. Dicho segmento cubrirá los nichos de mercado de precios medio, alto y muy alto, llegando en el extremo a soluciones profesionales de muy alta calidad para televisión y cine. Un extremo intermedio en cuanto a calidad y coste es el ejemplificado en la figura 11, donde se puede apreciar en la parte inferior un "Flexible circuir" (o circuito impreso flexible) sobre el que se ha montado un chip de foto-sensores (similar a los anteriormente descritos, pero en esta imagen se incluye el encapsulado para su conexión a la electrónica exterior y un pequeño cristal transparente en la parte superior del chip cuyo objetivo es dejar pasar la luz al tiempo que evita la penetración de suciedad, polvo y humedad en el área de foto-sensores). Dicho chip se aloja en una estructura mecánica que alinea el sensor con varias lentes, dando lugar a un módulo cuyo objetivo es ser alojado en teléfonos móviles, ordenadores portátiles y otros aparatos de consumo de pequeño tamaño. El precio típico de dichos módulos es muy bajo, ya que están destinados a formar parte de bienes de consumo que se fabrican por millones (ordenadores móviles y teléfonos inteligentes) cuyo precio debe ser asequible a un elevado número de personas.
La estructura descrita en el párrafo anterior, a pesar de su relativamente bajo precio, entraña una complejidad mecánica y de ensamblado no despreciable, y aun merced a la utilización de técnicas robóticas o automáticas el precio de ensamblado de un número elevado de lentes en la estructura mecánica descrita es relativamente elevado frente a estructuras similares que pueden ser ensambladas utilizando técnicas de procesamiento de obleas similares a las empleadas en microelectrónica o micro-óptica. Siguiendo dicha tendencia, en Noviembre del 2007, Weng y Lin describieron (en la patente US 2009/0134483 Al) un módulo de cámara compacto, reproducido en la figura 12, que comprende un chip de foto-sensores (102), un set de lentes (126) y un armazón externo con un material conductor de electricidad (134). El módulo incluye un sustrato 100 que puede ser de silicio u otro material semiconductor, y puede contener un sensor de imágenes CCD o CMOS, un sustrato transparente 160 situado sobre el sustrato semiconductor 100 y un array de micro-lentes 104 situado entre ambas estructuras, el sensor CCD o CMOS contiene un array de componentes opto-electrónicos 102 tal como fotodiodos o fototransistores, construidos en el sustrato 100 mediante técnicas típicas de semiconductores. Al menos un pin (patilla de entrada-salida) de tierra 114b se conecta al sustrato semiconductor 100 y a la capa conductora 101 formada sobre el sustrato mediante la utilización de técnicas de fabricación microelectrónicas. Igualmente se coloca un conjunto de pines 114a para sacar al exterior las lecturas de los foto-sensores. Tanto las patillas de tierra como las patillas de los foto-sensores están aisladas eléctricamente del sustrato mediante una capa dieléctrica 112. Sobre el sustrato semiconductor 100 se deposita un sustrato transparente 160 (de vidrio o cuarzo), formando una cavidad 160b sobre los sensores 102 y sus respectivas micro-lentes 104. Sobre el sustrato transparente 160 se coloca un set de lentes 126, posteriormente se sitúa una capa conductiva 134 sobre el sustrato semiconductor y las lentes, cuya función es proteger toda la estructura sensorial frente a interferencia de ruidos electromagnéticos, ya que dicha capa es puesta a tierra a través de la capa 101 y los pines 114b. A continuación se puede utilizar una capa opaca 136 (que puede ser tan simple como una simple pintura opaca) sobre la capa conductora 134 con el objetivo de obtener un mejor aislamiento luminoso de la estructura. Para aumentar la inmunidad de la estructura a radiaciones electromagnéticas exteriores se puede utilizar una capa conductiva transparente 130 en la parte superior de la estructura, formada por materiales como IZO (Indium Zinc Oxide, Oxido de Indio Zinc) o ITO (Indium Tin Oxide, Oxido de Indio Estaño). Dicha patente describe también un método de fabricación basado en proceso de obleas, lo que permite la producción de grandes cantidades de módulos para cámaras a muy bajos precios, por ejemplo, no sólo se utilizan dichas técnicas para la fabricación de los sensores, sino también para situar obleas de vidrio o cuarzo 160 sobre las obleas del sustrato semiconductor 100, o para situar obleas de lentes 126 sobre las obleas del sustrato 160, o para depositar una capa conductiva transparente 130 sobre todos los sub-módulos construidos en una oblea. Finalmente, dicha estructura se puede someter a un proceso de cortado (dicing) o separación de cada uno de los sub-módulos construidos en una oblea, posteriormente se reutilizan las técnicas habituales de empaquetado de microelectrónica, como por ejemplo los BGA (Ball Grid Arrays) o "bolas de soldadura" situadas en la parte inferior del chip, normalmente disponibles en el empaquetado de chips modernos de alta densidad (representadas en la figura con los números 118b y 118a), lo que permite un muy elevado y denso número de pines de entrada y salida, muy conveniente para volcar rápidamente al exterior un número de mega-píxeles creciente con nuevas tecnologías CMOS de más alta densidad habitualmente utilizadas en los sensores.
T.Y.Lin, C.Y.Cheng y H.Y.Lin describieron en Mayo del 2007 unos novedosos módulos en su patente US2011 292271 Al (reproducidos en la figura 13), la parte inferior de la figura incluye las bolas de soldadura para conectar el módulo a un circuito impreso, módulo de foto-sensores 300 (CMOS o CCD) sobre el que se ha depositado un array de micro-lentes 302 similares a las descritas anteriormente, cuyo cometido es concentrar la luz sobre el área activa de cada uno de los foto-sensores, sobre dicha estructura se ha situado un sustrato transparente de materiales como vidrio, cuarzo o cualquier otro material transparente. Dicha estructura es similar a la de cualquier otro sensor CCD o CMOS, pero a partir de aquí se deposita una estructura plana 112 consistente en un film foto-resistivo seco (zona punteada), muy similar al normalmente utilizado en los procesos micro-electrónicos pero con características de alta adhesividad, dicha capa, cuyo espesor se puede controlar a voluntad dependiendo de las distancias diseñadas entre el sensor y las lentes, es sometida a un proceso fotolitográfico y atacada, dando lugar a una estructura con un espacio vacío (112a) entre el sustrato transparente y las lentes 10; la lente (10) está formada por un sustrato 100 y dos elementos 102 y 104 en las dos superficies opuestas del sustrato 100 (que en la imagen son convexos pero pudieran ser cóncavos), las lentes están formadas por materiales orgánicos como vidrio, epoxi, acrilatos o silicona; el enlace mecánico entre las distintas capas se lleva a cabo mediante procesos de calentamiento. Es posible añadir más lentes a dicha estructura mediante la deposición de nuevas capa de material foto-resistivo (206 y 214) y su ataque selectivo para formar zonas vacías de espaciado entre las lentes (206a y 214a), situando finalmente un sustrato transparente 216 en la parte superior de la estructura. El proceso de fabricación descrito se presta al procesado de obleas, con la primera oblea conteniendo los foto-sensores, sobre los que se sitúan las micro-lentes de pixel 302, y a partir de dicha estructura se empiezan a construir varias lentes, una tras otra, sobre todos los sensores de la oblea, procediendo finalmente al proceso de cortado (dicing u obtención de dados) del que se derivan un número elevado de módulos para cámaras.
El proceso descrito en el párrafo anterior reduce drásticamente costes de fabricación y es especialmente útil si lo comparamos con la alternativa de usar separadores de vidrio entre las lentes o entre el sensor y la primera lente, sobre todo teniendo en cuenta que por motivos tecnológicos los separadores de vidrio no pueden alcanzar espesores inferiores a 300 mieras (mediante esta invención se alcanzan espesores de hasta unas 30 mieras, dotando de una mayor flexibilidad al diseñador de lentes, reduciendo el espesor del conjunto y evitando la utilización de materiales adhesivos para la estructura.
Los sensores CCD se usan y han sido usados en cámaras digitales y multitud de aplicaciones, sin embargo los sensores CMOS han aumentado su popularidad debido a sus más baratos costes de producción, más altos rendimientos en sus procesos de fabricación (porcentajes de piezas cumpliendo especificaciones) y menores tamaños, todo ello merced a la utilización de tecnología y equipos desarrollados para la fabricación de semiconductores (microprocesadores, memorias y circuitos lógicos).
En paralelo a los progresos citados, y en un campo en principio diferente han evolucionado los meta-materiales, dichos materiales incluyen estructuras a pequeña escala diseñadas para manipular las ondas electromagnéticas, ya en 1967 Víctor Veselago teorizó acerca de la posibilidad de materiales con índice de refracción negativo en su artículo "The electrodynamics of substances with simultaneously negative valúes of ε and μ" [1]. En 2007 Henry Lezec obtuvo una refracción negativa con luz visible [2] y desde entonces diversos grupos han teorizado sobre la posibilidad de la utilización de dichos materiales para aplicaciones como la invisibilidad o microscopios con un poder de aumento mucho más allá del estado del arte.
3. Descripción detallada
La descripción que sigue refleja modos particulares de implementar las invenciones, sin embargo su principal propósito es ilustrar los principios de las invenciones y no debe ser tomada en un sentido limitador. El alcance de la invención se determina mejor por referencia a las reivindicaciones de este mismo documento.
Además de las definiciones de Circuitos integrados monolíticos descritas en el estado de la técnica anterior, el termino monolítico se extiende en la presente invención a la de sensores electro-ópticos que incorporan en una sola estructura, procesada fundamentalmente por métodos normalmente utilizados en micro-electrónica y/o micro-óptica, no solo los foto-sensores (normalmente sensores CMOS o CCD o cualesquiera otros, construidos sobre un sustrato, normalmente un sustrato semiconductor) sino también varias capas de materiales ópticos situados sobre el sustrato de sensores, que procesan ópticamente los rayos de luz antes de su llegada a los sensores.
La principal novedad de esta patente consiste en la utilización de capas ópticas de distinto índice de refracción situadas unas sobre otras, incluyendo micro-lentes plenopticas, la inferior de dichas capas sobre un sustrato de foto-sensores (CCD, CMOS o cualquier otra tecnología de foto-sensores pasada, presente o futura).
Refiriéndonos a la figura 14, que muestra una implementación de una de las invenciones, podemos distinguir, de abajo a arriba, un sustrato 1 sobre el que se sitúan los foto-sensores 2 (el sustrato puede ser por ejemplo un sustrato semiconductor, los foto-sensores pueden ser por ejemplo fotodiodos, fototransistores u otros foto-sensores, la tecnología de semiconductores utilizada puede ser una tecnología CMOS o cualquier otra tecnología pasada, presente o futura para fabricar foto-sensores y/o circuitos electrónicos); la figura muestra tan solo una dimensión, pero los sensores se construyen en dos dimensiones, formando un "array bidimensional". Sobre el "array de foto-sensores" se pueden situar filtros de colores (6, 7 y 8) si se desea construir un sensor de imágenes en color (frente a uno en blanco, negro y escalas de gris), los filtros de colores suelen contener los tres colores fundamentales (verde 6, rojo 7 y azul 8; o amanillo, magenta y cian si utilizamos otro sistema de colores fundamentales), el array de colores ha evolucionado desde una estructura como la de la figura 10.A hasta una estructura como la de las figuras 10.B y 10.C; en los procesos de fabricación más modernos, sobre los filtros de colores se suele situar una micro-lente por cada foto-sensor/filtro, el objetivo de dichas micro-lentes es concentrar el haz de luz hacia el interior (sobre el área activa del fotosensor), ya que el sumatorio de todas las áreas de todos los sensores 2 es inferior al área del sustrato 1 debido a la necesidad de utilizar dicho espacio para circuitos de polarización y lectura; sobre las micro- lentes 3 se sitúa una capa óptica de bajo índice de refacción 4, de manera que los haces luminosos se refracten hacia los foto-sensores concentrando toda la energía luminosa por unidad de área que atraviesa la zona 4 en el área de los foto-sensores 2; para que se cumpla dicha condición el índice de refracción del material 4 deberá tener un valor menor que el índice de refracción del material 3; por último, se sitúan las micro-lentes 5 (con un material de alto índice de refracción, mayor que el material 4).
La estructura formada por los materiales 5, 4 y 3, diseñando los perfiles de las lentes 5 y 3 y la distancia x de la forma adecuada obtiene una estructura plenóptica similar a la descrita en las figuras 2, 3, 4, 6. A, 6.B, 8.A y 8.B (en la implementación de la figura 14, bajo cada micro-lente plenóptica 5 hay 4 pixeles, en realidad son 16 pixeles en la estructura de dos dimensiones suponiendo que las lentes plenópticas 5 tengan forma cuadrada (de 4x4 pixeles), aunque como veremos posteriormente es posible diseñar la forma geométrica de los pixeles y de las micro- lentes siguiendo patrones diferentes a los tradicionales); la estructura descrita es en varios aspectos mejor bajo el punto de vista óptico que las mencionadas anteriormente: frente a estructuras con micro-lentes cercanas a los sensores de imagen, similares a las figuras 3, 4, 6.A y 6.B, la complejidad mecánica y el coste de fabricación se reducen de manera drástica, también se hace posible utilizar un sensor plenóptico como el expuesto con objetivos tradicionales o casi tradicionales para cámaras profesionales con muy alta calidad de la óptica y con un número de pixeles muy elevado (diseñar un sensor de este tipo para una cámara de gran tamaño permite obtener un gran número de pixeles en una área de unos pocos centímetros cuadrados con un área de cada micro-lente de valores relativamente elevados, frente a la dificultad de diseñar una cámara para un teléfono móvil o un laptop, donde el número de megapíxeles deseado y el número de micro-lentes deseado se debe diseñar en tamaños muy reducidos (por debajo de 1 cm x 1 cm), por lo que sensores de este tipo ofrecen mejores características que las soluciones de las figuras 5.A, 5.B, 7.A y 7.C, además de la facilidad para controlar las tolerancias de las micro-lentes en un proceso micro-electrónico (fotolitográfico o de otro tipo) frente a una fabricación discreta como la que se precisa llevar a cabo en las figuras 5. A, 6. A, 6.B, 7.A y 7.C. La complejidad mecánica y de fabricación es también inferior a la conseguible en las figuras 8. A y 8.B, evitando procesos de alineación entre diversas obleas y huecos de aire (u otro gas) como los situados entre las micro-lentes y los sensores de dichas figuras, estructuras por su propia naturaleza menos monolíticas que las descritas en la presente invención y que se prestan más a la presencia de materias contaminantes entre el sensor y las micro-lentes.
Volviendo a la figura 14, los procesos de fabricación micro-electrónicos no solo permiten altísimas precisiones para el diseño de las micro-lentes 3 y 5 de la figura 14 (esféricas, asféricas, convexas, cóncavas o siguiendo cualquier patrón que se desee por el diseñador) sino que permiten controlar a la perfección otros parámetros de diseño como la distancia x, distancia que dependiendo de la algorítmica suele ser igual a la distancia focal de las lentes plenópticas 5 o menor/mayor para otro tipo de algoritmos. Así, por ejemplo, en la figura 15 se ha reducido dicha distancia frente a la figura 14 (posibilitando algoritmos con más alta discriminación en cuanto a número de pixeles, pero más baja discriminación en cuanto a direccionalidad de los rayos incidentes en el sensor).
En lugar de micro-lentes plenópticas 5 (que así hemos denominado por contraste a las micro- lentes de píxel 3) de forma bi-convexa, se emplea en ocasiones lentes (5) plano convexas, como aparece en la figura 16 (donde se muestra una implementación en la que se han utilizado dos capas con bajo índice de refracción (etiquetadas en la figura "_Indice de Refracción 2" e "Indice de Refacción 3") entre las micro-lentes 3 y 5 (construidas con materiales de alto índice de refracción: etiquetadas en la figura "_Indice de Refracción 1" e "Indice de Refacción 4"), con el único objetivo de dotar de más flexibilidad al proceso de fabricación y a las interfaces entre diferentes índices de refracción).
Las flexibilidades ofrecidas por métodos de fabricación para la óptica similares a los ofrecidos por la microelectrónica son infinitas, a modo de ejemplo la figura 17 muestra una estructura con tan solo las micro-lentes de píxel y sobre ellas las micro-lentes plenópticas, en dicha figura tanto las primeras como las segundas son esféricas, mientras que en la figura 18 tienen una estructura asférica. La distancia entre el diámetro de las "semiesferas plenópticas" y el diámetro de las "semiesferas de pixel" es en la figura igual a cero (ambas semiesferas reposan sobre el sustrato), pero cabria situar las semiesferas plenópticas a una distancia superior del sustrato, creando estructuras similares a las de la figura 8.C.
La figuras 19 a 22 muestran un posible flujo de fabricación que permite el procesado a nivel de oblea, ofreciendo la capacidad de fabricar un número elevado de sensores de muy alta calidad a precios muy bajos.
No se muestra en las figuras ni el sustrato que contiene el array de foto-sensores ni la fabricación de los filtros de colores y sus micro-lentes de píxel asociadas, ya que dichas estructuras han tenido una muy amplia difusión en productos existentes, y ya que luego las comentaremos tras la descripción pormenorizada sobre las estructuras de la invención.
Partimos, figura 19, del sustrato de foto-sensores (con sus lentes de píxel de alto índice de refracción (etiquetadas en la figura como "índice de Refracción 1") para concentrar el haz de rayos sobre el área útil del foto-sensor), sobre ellas se sitúa un material foto-resistivo transparente de bajo índice de refracción (Indice de Refracción 2), como se indica en la figura 19 (los índices de refracción de las micro-lentes de píxel, normalmente basados en resinas transparentes, pueden tener valores en torno a 1,5, mientras existen otros materiales o meta- materiales que pueden llegar a tener valores en torno a 1,1 e incluso inferiores. La distancia x se puede hacer más grande o más pequeña en función del número de coatings (revestimientos). Sobre la estructura de la figura 19 se lleva a cabo una iluminación selectiva, para a continuación positivar (etching) con un ataque selectivo (dependiente de la iluminación selectiva previa), dando lugar a la estructura de la figura 20, recordemos que el material "Indice de Refracción 2" depositado en la figura 19 puede ser atacado de una manera selectiva en un proceso foto- litográfico.
Sobre la estructura de la figura 20 se vuelve a situar un material foto-resistivo transparente de alto índice de refracción (etiquetado "Indice de Refracción 3 o Indice de Refracción 1" en la figura 21), dando lugar a la estructura de la figura 21. Dicho material con alto índice de refracción puede ser similar o incluso el mismo material con el que se han construido las micro- lentes de píxel (Refractive Index- 1); el siguiente paso es un nuevo proceso fotolitográfico, iluminación selectiva y positivado (etching), dando lugar finalmente a la estructura de la figura 22, dicha estructura es una versión monolítica (construida en un solo chip) de la tradicional estructura plenóptica expuesta en las figuras 2, 3, 4, 6.A, 6.B, 8. A y 8.B; y como tal susceptible de aplicar los mismos algoritmos de reconocimiento de dirección de llegada de los rayos, reenfoque, distancias desde la cámara al punto real, etc.
El hecho de ser capaz de utilizar métodos de fabricación normalmente utilizados en microelectrónica, dando lugar a estructuras micro-ópticas formadas por elementos con diferentes índices de refracción, así como la facilidad para controlar las tolerancias con avanzados procesos de fabricación utilizados en microelectrónica, dota a la invención de gran flexibilidad para adaptarla a diferentes compromisos de diseño en cuanto a procesos de fabricación o relaciones calidad-precio diferentes.
Por ejemplo, el utilizar procesos de fabricación CCD o CMOS muy maduros, y por lo tanto con infraestructura de fabricación ya amortizadas y susceptibles de ofrecer muy bajos costes para aplicaciones donde la sofisticación y la calidad no sean primordiales, puede dar lugar a estructuras como la descrita en la figura 23: dado que son procesos maduros, donde las dimensiones de los circuitos de polarización, lectura y escritura son relativamente elevadas frente a las dimensiones totales, los foto-sensores 2 ocupan un porcentaje del área total del sustrato 1 relativamente baja respecto al área total (comparando con por ejemplo la figura 14, donde se puede apreciar un proceso micro-electrónico más avanzado, en el que las dimensiones de los circuitos electrónicos se han reducido, ocupando un área relativamente más baja respecto al total del área del sustrato). Dicha estructura, descrita en la figura 23, necesitará de una mayor distancia entre la superficie del sustrato (por ejemplo de silicio en los procesos CMOS) y la superficie de las micro-lentes (con una distancia entre las micro-lentes de píxel y las plenópticas (xl) que puede ser igual o diferente a la de la figura 14), ya que el haz luminoso incidente se deberá concentrar en un área más pequeña, y ese es el motivo por el que el material 3 ha aumentado su espesor en la figura 23, lo que puede hacerse de una manera relativamente sencilla mediante procesados de los materiales ópticos similares a los materiales micro- electrónicos, como por ejemplo la deposición de materiales transparentes más espesos seguida de una foto-litografía (iluminado y positivado) para crear las superficies de las micro-lentes con muy alta precisión, tanto para micro-lentes esféricas como asféricas.
La figura 24 muestra cómo se construye una micro-lente sobre una zona cuadrada de un sustrato de foto-sensores (el cuadrado de la línea con grosor más reducido es el área del foto-sensor), la alta precisión de los procesos fotolitográficos permite diseñar y fabricar en lugar de lentes semiesféricas con bases de forma circular, lentes esféricas de bases cuadradas. Dichos procesos de fabricación permiten estructuras en las que la lente sobre cada foto-sensor, en lugar de situar una sola semiesfera, sitúe 4 porciones de semiesfera intersectándose entre ellas en 4 líneas. La figura 25.A muestra dos píxeles construidos uno junto al otro, el cuadrado en línea tenue es el foto-sensor construido sobre el sustrato (como por ejemplo un sustrato CMOS), entre dichos foto-sensores y los cuadrados de línea gruesa aparece el área de sustrato reservada para circuitos electrónicos de polarización y lectura, las aspas (en forma de X) situadas en la parte superior constituyen las intersecciones entre las 4 porciones de semiesfera que constituyen cada micro- lente asociada a cada píxel.
La figura 25. B muestra una vista superior de un array de 4 por 4 píxeles, la figura 26 muestra dicha estructura vista de forma transversal, mostrando también la lente plenóptica 5, situada a una distancia x2 de las lentes de píxel 3, con un material transparente de bajo índice de refracción 4 entre la lente plenóptica 5 y las lentes de píxel 3. En este ejemplo cada micro-lente 5 del array de micro-lentes plenópticas contiene 16 píxeles (4 por 4). También podemos observar que el proceso de fabricación microelectrónica ha evolucionado hacia estructuras más densas (más sub-micrónicas), aumentándose el porcentaje de área utilizado para los foto- sensores 2 frente al área total del sustrato 1. El tamaño vertical de las micro-lentes de píxel también se ha reducido al aumentar porcentaje del área 2 (ya que el haz luminoso incidente sobre la micro-lente de pixel 3 no necesita tanta distancia vertical para concentrarse sobre el área del foto-sensor 2. Los filtros opcionales de los tres colores fundamentales (8, 6 y 7) siguen en su lugar en caso de tratarse de un sensor en color.
Las diferentes capas ópticas pueden formarse por procesos bien conocidos en el estado del arte como CVD (Chemical Vapor Deposition o Deposición Química de Vapor), LPCVD (Low Pressure Chemical Vapor Deposition o Deposición Química de Vapor a Baja Presión), PECVD (Plasma Enhanced Chemical Vapor Deposition o Deposición Química de Vapor Mejorada por Plasma), HIDPCVD (High Density Plasma Chemical Vapor Deposition o Deposición Química de Vapor de Plasma de Alta Densidad) u otros procesos de deposición de materiales normalmente utilizados en micro-electrónica, como puede ser la simple deposición por fuerza gravitatoria de un material fundido, métodos utilizados en este caso para llevar a cabo deposiciones de materiales ópticos.
Discutiremos a continuación los materiales ópticos utilizados o utilizables para fabricar las invenciones, recalcando que son tan solo ejemplos que en modo alguno pretenden restringir la generalidad de las invenciones, dado que es posible implementar dichas invenciones con los materiales citados en los ejemplos, o bien con otros materiales alternativos, incluso con nuevos materiales no existentes en la actualidad.
Las lentes plenopticas 5, así como también las lentes de píxel 3, se pueden fabricar con materiales de vidrio foto-sensitivo, permitiendo fabricaciones a nivel de oblea, con un número elevado de sensores de imagen por oblea y mínima intervención humana, abaratando costes de producción. Las lentes (plenopticas y de píxel) también se pueden fabricar a nivel de oblea con resinas termo-plásticas, materiales foto-resistivos transparentes o polímeros transparentes de alto índice de refracción que tras el positivado (por ejemplo mediante ataque químico) pueden ser sometidos a un proceso de curado (bien con rayos UV -ultravioleta- o bien con un curado térmico a alta temperatura). El curado UV se puede llevar a cabo de manera selectiva para a continuación eliminar las partes no curadas mediante un disolvente adecuado. También es posible utilizar varias implementaciones comerciales de polímeros híbridos orgánico- inorgánicos y/o colas de alto índice de refracción curables por UV. Se puede utilizar polímeros solidos cuyo ataque es posible en las zonas no curadas o polímeros líquidos que bajo ciertas condiciones (de temperatura o iluminación UV) se convierten en solidos transparentes con verios índices de refracción, dando así lugar a las estructuras ópticas.
Se han mencionado varios materiales típicamente utilizados para las micro-lentes 3 y 5, con índices de refracción típicamente superiores a 1,5, llegando hasta 2 para algunos materiales, un material adecuado para lentes de alto índice de refracción es el nitruro de silicio (con índice de refracción de 2.0), que puede ser depositado mediante un proceso CVD de plasma (Deposición Química de Vapor de plasma), otra alternativa es formar una película de resina de poliimida (con un índice de refracción de 1,6 a 1,7) mediante un depósito sobre el sustrato y posterior centrifugado (spinning), dando a continuación la forma adecuada para crear la lente con los disolventes adecuados al tipo de material empleado, por ejemplo el nitruro de silicio es atacable mediante dry-etching (o ataque químico en seco). Es posible depositar materiales fluidos que dan lugar a materiales blandos que posteriormente precisan un proceso de curado (térmico o UV-UltraVioleta) para endurecerlos, o bien depositar materiales fundidos que adquieren su dureza durante el proceso de solidificación; procesos aplicables a diferentes tipos de vidrios, plásticos, polímeros orgánico-inorgánicos y los otros materiales mencionados. Las posibilidades ofrecidas por los procesos de fabricación micro-electrónicos dotan al diseñador de la flexibilidad de construir lentes con distintos materiales, con distinto número de Abbe, distintas características de dispersión, con diámetro (pitch) variable, o con distintos índices de refracción, lentes circulares (o semiesféricas/serniasféricas si las vemos en 3 dimensiones), cuadradas (superponiendo 4 casquetes esféricos/asféricos que se intersectan entre ellos si las vemos en tres dimensiones), hexagonales (superponiendo 6 casquetes esféricos/ asfericos visto en 3 dimensiones), incluso triangulares, lo mismo se puede decir del diseño de los pixeles, abriendo la posibilidad para el diseño de topologías novedosas que se prestan a mejores eficiencias de los algoritmos plenopticos y ofrecen mejores prestaciones lumínicas (como por ejemplo micro-lentes hexagonales cubriendo 6 pixeles triangulares), ampliando también la flexibilidad para ofrecer diseños muy flexibles para lentes acromáticas. Se pueden depositar capas de distintos espesores, nuevas capas de características diferentes depositadas sobre lentes anteriores, en definitiva, la flexibilidad de diseño es mucho mayor que en óptica discreta de gran tamaño. Incluso se pueden crear capas con índice de refracción cercano a 1 (incluso de aire) merced a la utilización de "material sacrificable": sobre una capa transparente (de material 3, 4 ó 5) se deposita un material foto-resistivo del espesor y forma requeridos, sobre ésta se crea una nueva capa transparente (de material 3, 4 ó 5) con varios orificios que permitan la entrada de un disolvente adecuado a la capa enterrada de material foto-resistivo, que puede ser disuelta y eliminada posteriormente. A pesar de la flexibilidad ofrecida al diseñador de poder alcanzar índices de refracción cercanos a 1, incluso capas de aire entre materiales de alto índice de refracción, dicho diseño debe necesariamente incluir "columnas de soporte entre las dos capas de material transparente (3 y 5), tal como por ejemplo se observa en la figura 14.b, con todos los inconvenientes que ello conlleva (presencia de "columnas" de alto índice de refracción 4' entre las dos capas 3 y 5; o bien una estructura con posibles problemas mecánicos debido a la baja profusión de dichas columnas de soporte mecánico entre capas de índice de refracción más alto). Más atractiva es la utilización de meta-materiales (en lugar de aire o gases), ofreciendo índices de refracción que pueden ser incluso inferiores a 1. Los materiales sacrificables pueden ser geles solubles con agua, varios ya disponibles comercialmente, o bien materiales foto-resistivos convencionales de muy amplia difusión en la fabricación de circuitos integrados (solubles en agua, acetona o iso-propanol).
El material 4 puede ser cualquier material transparente de bajo índice de refacción. En aras a reducir la distancia entre las lentes plenópticas y las lentes de píxel (x en la figura 14), así como también el tamaño de las lentes de píxel, los cocientes entre los índices de refracción de los materiales 5 y 4 (así como también 3 y 4) deberán ser lo más altos posibles. Las posibilidades para las capas transparentes 4 de bajo índice de refracción son vidrio, plásticos, co-polímeros inorgánicos o polímeros orgánicos, con índices de refracción alrededor de 1,5.
Un método bien conocido para reducir el índice de refracción de un polímero orgánico es dotar a su composición de un mayor contenido en flúor, sin embargo este hecho dota al material de más baja solubilidad al agua y aceites y hace más difícil tener uniones solidas en las interfaces entre los materiales de alto y bajo índice de refracción, una posible solución a dicho problema es el bañar la superficie transparente de alto índice de refracción sobre la que se va a situar el material de bajo índice de refracción (o bien la superficie de bajo índice de refracción sobre la que se va a situar el material de alto índice de refracción) con un tratamiento de plasma rico en oxígeno (en una atmósfera con alto contenido en oxígeno); sin embargo, si dicho proceso no se lleva a cabo de una manera muy controlada, puede dar lugar a problemas de adhesividad, deteriorando la calidad y el rendimiento de fabricación. Ese es el motivo por el que los componentes fluoro-orgánicos o fluoro-inorgánicos tan solo se suelen usar en las primeras capas inmediatamente encima de los sensores, a pesar de sus bajos índices de refracción (entre 1,3 o 1,4 para películas de fluororesinas acrílicas, normalmente formadas por centrifugado -spin coating- o películas de fluoruro de magnesio, normalmente depositadas mediante pulverización -sputtering), formándose "sándwiches" con capas de varios índices de refracción (aunque en nuestras figuras simplificadas hemos situado una sola capa) basando el diseño no solo en el criterio de índice de refracción sino también en criterios de adhesividad entre capas.
Otros de los materiales transparentes utilizados inmediatamente sobre los foto-sensores pueden ser (en una sola capa o en estructuras multicapa, que pueden incluir una capa de pasivación y/o planarización) los que tradicionalmente se han utilizado en los dieléctricos entre las capas metálicas y/o de poli-silicio normalmente utilizadas para establecer las interconexiones entre los elementos activos de los chips, materiales tales como óxido de silicio, FSG (Fluorinated Silicate Glass, o Vidrio de Fluoro Silicato), óxido dopado con carbono, MSQ (Methyl-Silsesqui-Oxane), HSQ (SilseQuioxano de Hidrógeno), FTEOS (Fluor Tetra Etil Orto Silicato), o BPSG (Boro- PhosphoSilicate glass, o vidrio de FosfoSilicato-Boro), este último normalmente formado mediante un proceso de reflow (reflujo) térmico alrededor de 900 grados centígrados, los anteriores formados mediante CVD, LPCVD, PECVD, HIPCVD, u otros métodos de deposición bien conocidos en el estado del arte. La capa de pasivación o planarización (no expuesta en las figuras por simplicidad y por ser bien conocida en el estado del arte) puede estar formada por diversos compuestos, tales como Nitruro de Silicio (SiN o SÍ3N4), OxiNitruro de Silicio (SiON), Carburo de Silicio (SiC), Oxi Carburo de Silicio (SiOC) u otras combinaciones con propiedades similares. Los filtros de colores suelen protegerse situando sobre ellos capas transparentes adicionales de óxido de silicio o sus combinaciones, tampoco dibujadas en las figuras en aras a la simplicidad, que pueden depositarse mediante CVD, LPCVD, PECVD, HDPCVD u otros procesos de deposición bien conocidos en el estado del arte.
Expliquemos a continuación un proceso de fabricación propuesto para la invención con el fin de obtener estructuras similares a la expuesta en la figura 14, haciendo referencia al proceso de fabricación expuesto en la secuencia de figuras 19, 20, 21 y 22. Partimos de un sustrato de foto- sensores 1, con su array de foto-sensores 2, sus filtros de colores (6, 7 y 8) y sus lentes de píxel 3, estructura bien conocida en el estado del arte y ampliamente utilizada en procesos CMOS, aunque la invención se pudiera aplicar a estructuras diferentes. Sobre dicha estructura (figura 19) que ofrece un índice de refracción alto para las lentes de píxel (Indice de Refracción 1) se sitúa un material de índice de refracción bajo (Indice de Refracción 2) con un espesor x decidido en el proceso de diseño. Dicha capa puede ser una capa única o bien un "sándwich de capas" como el que se observa en la figura 16, en la que por ejemplo se ha añadido una primera capa de bajo índice de refracción (Indice de refracción 2) mediante procesos tales como XCVD, deposición-centrifugación u otros procesos bien conocidos en el estado del arte, y sobre dicha capa se ha enlazado un sustrato también de un bajo índice de refracción (Indice de Refracción 3 en la figura 16).
Sobre la estructura de la figura 19 se sitúa, por ejemplo, una capa fotosensible con un material como un foto-resistor positivo, capa que queda situada sobre la capa "Indice de Refracción 2". Dicha capa fotosensible es expuesta de manera selectiva a la luz mediante una máscara gris, por ejemplo iluminando con lámparas I-line (lámparas con vapor de mercurio a presión muy alta), de esta manera la estructura es expuesta a diferentes intensidades de luz, con lo que tras la exposición a la luz y su posterior positivado la capa de material foto-resistivo ofrece una curvatura exactamente igual a la de la parte superior de la figura 20. Tras el positivado se ataca la capa de material foto-resistivo por ejemplo mediante ataque químico con disolventes secos (dry etching), que típicamente supone el bombardeo de dicha capa con iones (normalmente un plasma de gases reactivos tal como fluoro-carbonatos, oxígeno, cloro, tricloruro de boro y en algunas ocasiones añadiendo hidrógeno, argón, helio, y otros gases). Dicho ataque, además de "limpiar" el material foto-sensitivo comienza a "limpiar" (vaciar) el material de la capa inferior, transfiriendo a la capa de bajo índice de refracción 4 ("Indice de Refracción 2" de la figura 19) la misma curva que inicialmente se había formado en el material foto-resistivo. La precisión y reproducibilidad utilizando dry-etching son excelentes. También se pudiera utilizar disolventes líquidos, pero estos atacan de una manera más anisotrópica. En la figura 20 se ha obtenido una estructura cóncava, pero como veremos posteriormente se hubieran podido obtener estructuras convexas.
Por último se crea una tercera capa de material con alto índice de refracción ("Indice de Refracción 3 o índice de refracción 1" en la figura 21), que puede ser depositada con técnicas similares a las explicadas anteriormente, como por ejemplo CVD, LPCVD, PECVD, HDPCVD u otros procesos de deposición bien conocidos en el estado del arte. Si dicha capa "Indice de Refracción 3 o índice de refracción 1" se ha depositado con un material transparente fotosensitivo (resinas, vidrios u otros materiales foto-sensitivos) bastaría con someter dicha estructura a una exposición luminosa similar a la descrita anteriormente para a continuación someter a dicha capa al ataque que disuelve selectivamente el material, dando lugar a la estructura final de la figura 22 (una estructura plenóptica obtenida utilizando procedimientos de fabricación normalmente utilizados en microelectrónica). Otra alternativa es repetir el proceso utilizado anteriormente, situar sobre la estructura de la figura 21 una capa de material foto- resistivo, someterlo a una iluminación selectiva con, por ejemplo, una máscara de niveles de gris, y someter la estructura resultante al ataque final, con por ejemplo dry-etching (ataque con disolventes secos) para no solo limpiar la estructura del material foto-resistivo, sino llevar a la capa 5 de alto índice de refracción el perfil inicialmente creado en el material foto-resistivo.
Se ha descrito la invención con un ejemplo de una foto-litografía determinada, pero otras técnicas fotolitográficas conocidas o futuras son también utilizables en la implementación de las invenciones, como EUV (Extreme Ultra Violet, o Ultra Violeta Extrema), de la que se espera definiciones alcanzando los 13,5 nanómetros.
Las capas ópticas superiores de las figuras 14, 15, 16, 17 y 18 también se pueden construir mediante técnicas de replicación, esto es, se deposita en un molde con el negativo de la forma de las lentes un polímero (que puede ser viscoso o líquido a temperatura ambiente), sobre dicho molde se coloca la oblea de sensores de forma invertida, de modo que esta tenga contacto físico con el polímero-liquido o viscoso (por el lado de los foto-sensores, y las lentes de pixel), para a continuación solidificar el polímero mediante una exposición a luz ultravioleta o mediante altas temperaturas. El polímero dará lugar a un sólido transparente con el índice de refracción adecuado, formando así la matriz de micro-lentes plenopticas.
Los filtros de colores se crean depositando capas de cada uno de los tres colores mediante procesos fotolitográficos consecutivos, para a continuación cubrir todos ellos con una capa de protección o pasivación.
Existe la posibilidad de situar en la parte superior de las micro-lentes plenopticas, las micro- lentes de píxel y, en otros lugares, capas de revestimiento anti-reflejo, contribuyendo así a mejorar la eficiencia lumínica de las estructuras. Así como también filtros de IR (infra-rojo), en aras a mejorar la relación señal/ruido en los foto-sensores filtrando la parte no deseada del espectro.
Las lentes de píxel se fabrican con métodos similares a los descritos para las lentes plenópticas.
Los procesos brevemente descritos, junto con otras técnicas e instrumentos propios de la óptica y la microelectrónica, tal como por ejemplo la estampación mecánica de vidrio (en frío y a alta temperatura), el reflujo térmico, las herramientas de moldeado con ultra-precisión, el marcado láser, y otros procesos bien conocidos en el estado del arte en óptica y microelectrónica, dan lugar a procesos, herramientas y resultados extremadamente sofisticados, precisos y efectivos en coste, ofreciendo al diseñador posibilidades de tolerancia axial fijadas por las tolerancias en el grosor de las capas. Las tolerancias del montaje lateral son determinadas por la exactitud de las máscaras fotolitográficas (capaces de reproducir en muy altos volúmenes, de cientos de millones de unidades, patrones tan pequeños como 28 nm e inferiores en un futuro no lejano), dando lugar a productos integrados monolíticamente con una tecnología de fabricación extremadamente simple que hará que los productos miniaturizados compitan y superen en algunas de sus características a productos con óptica de gran tamaño y peso. Como ejemplo se puede afirmar que con tolerancias del orden de nanómetros en la implementación física de micro-lentes, las aberraciones pueden ser muchísimo más bajas que en cámaras de gran tamaño.
Se pueden fabricar las obleas ópticas y las obleas de sensores por separado y juntarlas posteriormente (mediante soldadura, enlace anódico o procesos de pegado) gracias a "marcas de alineamiento" en ambas obleas, ofreciendo gran precisión con ayuda de modernos alineadores de máscaras; o bien se pueden crear las capas ópticas con diversos patrones sobre la oblea de sensores mediante técnicas de deposición, crecimiento epitaxial u otras técnicas bien conocidas en el estado del arte.
Al igual que en la microelectrónica para la fabricación de circuitos integrados, o en cualquier proceso de fabricación de sensores de imagen (CMOS, CCD o cualquier otro) los últimos pasos consisten en el cortado (dicing) de la oblea en los varios chips individuales y su posterior encapsulado, normalmente con un empaquetado plástico o cerámico (que incluye una apertura con un material transparente en su parte superior para dejar pasar la luz hasta el sensor), y con patillas metálicas para las interconexiones eléctricas del chip con el sistema exterior, o bien en el caso de chips con muy alta densidad de pines, en lugar de patillas metálicas se puede utilizar un array de bolas de soldadura situado en la parte inferior del chip (BGA o Ball Grid Array), similar a las bolas de soldadura en la parte inferior de la figura 13; aun a costa de encarecer los costes unitarios, dependiendo de los procesos de fabricación y de la disponibilidad de determinados instrumentos, también sería posible llevar a cabo el cortado (dicing) de la oblea óptica y de la oblea electrónica por separado, y situar cada dispositivo óptico sobre cada sensor anteriormente al proceso de encapsulado.
Existen varios problemas prácticos aparejados a la miniaturización que las invenciones expuestas resuelven de una manera más adecuada que otras tecnologías. Las lentes exteriores que llevan la luz incidente a un sensor como el propuesto, o a cualquier sensor en general, al ver reducido el espesor del sensor (con un grosor total inferior a 1 centímetro, incluso inferior, para por ejemplo formar parte de un teléfono móvil) reciben los haces de rayos luminosos de una manera menos perpendicular en las micro-lentes de la periferia del array plenóptico que en las micro-lentes del centro del array, con lo que la luz no es dirigida eficientemente hacia los foto- sensores, dando lugar a una eficiencia máxima en el centro del foto-sensor y deteriorándose paulatinamente hacia su periferia. La luz incidente en las micro-lentes plenópticas de la periferia del array es más inclinada que en el centro del array, dando lugar a una distancia focal menos profunda vista desde los píxeles en la periferia del foto-sensor que desde los píxeles en el centro del foto-sensor. Existen tres maneras de resolver dicho problema, la primera consiste en espaciar los píxeles del foto-sensor de manera diferente en su periferia que en su centro (situando los "discos" o "cuadrados" o "hexágonos" o "cualquier forma geométrica" diseñada para los píxeles correspondientes a las micro-lentes plenópticas de la periferia del array más alejados de sus "discos o cuadrados o hexágonos" adyacentes que en la zona central), aumentando al mismo tiempo el área de los píxeles en la periferia del sensor frente a los píxeles del centro del sensor. Dicha solución no es eficiente ya que aumenta el área del sustrato (por ejemplo silicio en un proceso CMOS) y encarece el coste del producto, pero hemos estimado oportuno citarla.
La segunda solución al problema descrito en el párrafo anterior es un diseño de las micro-lentes plenópticas con perfiles diferentes en el centro que en la periferia del array plenóptico, con el fin de garantizar mayores desviaciones para haces con menor perpendicularidad en la periferia que en el centro del array plenóptico; con dicha medida tan solo la lente del centro del array sería perfectamente simétrica respecto a su eje, y de una manera paulatina a medida que se avanza hacia la periferia del array plenóptico, las micro-lentes son cada vez más asimétricas respecto a su eje con el fin de garantizar que la perpendicularidad de los haces en el foto-sensor sea exactamente igual de eficiente en su zona central que en su periferia. Dicha solución, una implementación prácticamente inviable en óptica discreta, es extremadamente eficiente y de fácil implementación utilizando procesos fotolitográficos para la fabricación de micro-lentes como los expuestos en las invenciones.
Una tercera solución es el variar la distancia entre micro-lentes y el sensor de una manera paulatina (el parámetro x en la figura 14), de manera que dicha distancia sea menor en la periferia del array plenóptico que en su centro. Tan sólo una única micro-lente (o dos o cuatro como máximo) es (son) perpendicular(es) al eje óptico del sistema, la micro-lente en el centro del sensor, ya que x será variable en el resto de micro-lentes, cada vez más inclinadas frente al eje óptico y cada vez más cercanas al plano de sensores a medida que nos alejamos del centro del array plenóptico. Esta solución, también prácticamente inviable en óptica discreta, es eficiente y de fácil implementación utilizando procesos fotolitográficos.
Una solución mixta entre las expuestas en los párrafos anteriores es la más eficiente bajo el punto de vista de maximización de eficiencia óptica y minimización de aberraciones ópticas, ya de por sí muy bajas debido a la eficiencia del control de distancias y de la forma de las lentes merced a la utilización de procesos fotolitográficos.
Dependiendo de los procesos y materiales disponibles se fabrican también estructuras como la de la figura 14.b, donde la capa de material 4 (con bajo índice de refracción) ha sido sustituida por aire (u otros materiales gaseosos inertes, no corrosivos y con buenas propiedades frente a posibles penetraciones de humedad); la distancia entre los foto-sensores 2 (o sus lentes asociadas 3) y el "array de microlentes" 5 se mantienen merced a los separadores 4'. Dicha estructura es también relativamente simple y con bajos costes de fabricación utilizando técnicas de "apilamiento de obleas": sobre una oblea de foto-sensores habitual en el estado del arte en sensores (conteniendo el sustrato 1, los foto-sensores 2, los filtros de colores 6, 7 y 8, y opcionalmente las micro-lentes 3) se sitúa una segunda oblea con separadores (4') y sobre esta se sitúa una tercera oblea con las micro-lentes 5. Las técnicas de alineamiento de máscaras para el proceso de fabricación y de alineamiento de obleas en procesos de fabricación micro- electrónicos dan lugar a excelentes resultados con las obleas ópticas y alineando las obleas electrónicas con las ópticas. Normalmente se utilizan obleas normalizadas de 8 o 12 pulgadas.
El material de la oblea separadora 4' debe absorber la luz, evitando cualquier tipo de reflexión que daría lugar a "dobles imágenes"; dicho objetivo se puede lograr de una manera tan simple cómo el recubrimiento de las paredes laterales del separador 4' con material anti-reflectante, por ejemplo mediante sprays. La oblea de separadores 4' puede fijarse a la oblea de sensores por soldadura, enlace anódico, por temperatura o por medio de adhesivos que pueden ser resinas de curado por luz ultravioleta o con endurecimiento por temperatura; la deposición de dichas resinas debe hacerse con simetría respecto al eje óptico, evitando las áreas del camino óptico de la luz hacia el sensor de una manera selectiva mediante técnicas de impresión o spray. De igual manera se fija la oblea de micro-lentes 5 a la oblea separadora 4'.
La oblea separadora 4' se fabrica atacando física o químicamente (etching) un sustrato de vidrio de las mismas dimensiones que la oblea de sensores (8 o 12 pulgadas normalmente), las aperturas también se pueden llevar a cabo mediante cortado láser, chorros de polvo a presión o perforación por ultrasonidos.
Los materiales 4' y 5 pueden en otra opción construirse como una sola pieza en lugar de como dos piezas diferentes. De esta manera la oblea 5+4' se sitúa sobre la oblea de foto-sensores (1+2+6+7+8+3).
Alternativamente a la fabricación de la oblea óptica de separadores (4'), estos se pueden construir mediante la deposición de un material foto-resistivo seco sobre el sustrato semiconductor (ya con sus filtros de colores y lentes de pixel) y su posterior ataque químico o físico (etching) para abrir los huecos de separación que alinearán las lentes de pixel (3) con las micro-lentes plenopticas 5.
Existen múltiples procedimientos para fabricar la oblea de micro-lentes 5. Aunque en la figura 14.b solo se aprecia el producto final, este puede haberse obtenido merced a la utilización de un fino sustrato con micro-lentes convexo-planas formadas en su parte superior y plano convexas en su parte inferior. Las micro-lentes pueden fabricarse con materiales orgánicos de vidrio, epoxis, materiales acrñicos o silicona. Las micro-lentes también pueden formarse mediante procesos de replicación, donde se utilizan polímeros o líquidos curables (mediante luz UV o calor), las micro-lentes pueden construirse sobre un fino sustrato transparente de vidrio, plástico, resina o cuarzo. De esta manera pueden construirse lentes esféricas, asféricas o de cualquier forma. También pueden construirse mediante técnicas de ataque fotolitográfico de materiales sensibles a los ataques químicos o físicos, o depositando materiales foto-resistivos sobre el sustrato de micro-lentes, positivándolos para darles la forma de las lentes merced a la utilización de una máscara de grises, para a continuación someter a la estructura a un ataque físico o químico (etching) con el fin de llevar la forma del material foto-resistivo al material que posteriormente constituirá la lente; llevando a cabo dicho proceso por un lado de la oblea de micro-lentes o por ambos lados.
Tras el alineamiento y fijación de la oblea de micro-lentes 5 a la oblea de separadores 4' se puede proceder al cortado (dicing) o separación de cada uno de los sensores plenopticos contenidos en la oblea. Las micro-lentes 5 en la parte superior de la estructura se puede cubrir con capas para filtrar la luz IR (infra-rojo), aumentando de esta manera la relación señal/ruido en los sensores. El uso de capas anti-reflexivas evita que parte de la potencia luminosa incidente no alcance el sensor.
Los algoritmos plenopticos utilizados por la tecnología descrita en la figura 14.b sitúan el plano de sensores a una distancia igual o superior a la distancia focal del sistema óptico de entrada.
El mayor impacto de las invenciones expuestas llega merced a la utilización de meta-materiales como parte de los procesos micro-ópticos descritos; merced a la utilización no ya de materiales con índice de refracción negativo, sino tan sólo de materiales con índice de refracción positivo pero inferior a 1 , se pueden reducir drásticamente las dimensiones de la óptica. En referencia a la figura 14, si el índice de refracción de la capa 4 se hiciera por ejemplo 0,5 ó 0,1 la distancia x se reduciría drásticamente, haciendo factible una integración monolítica con unos espesores sin precedentes (especialmente adecuados a campos como la telefonía móvil, demandando sensores de muy pequeñas dimensiones). Se han fabricado sensores monolíticos (integrando electrónica y óptica) en los que la distancia entre las micro-lentes de pixel 3 y las micro-lentes superficiales 5 es de tres milímetros, seguir aumentando acerca el tamaño de los sensores integrados al tamaño que se conseguiría con óptica discreta de pequeño tamaño (como en la figura 11) y puede dar lugar a obleas con un grosor excesivo, grandes dificultades en el proceso de cortado (dicing) e inestabilidades mecánicas, deteriorando los rendimientos del proceso de fabricación, aumentando los costes y el tamaño de la estructura monolítica.
Sin embargo, la utilización de meta-materiales con índice de refracción inferior a 1 no solo reduce la distancia x entre las micro-lentes de pixel y las micro-lentes plenopticas (ver figura 22.B) sino que permite introducir en un espesor micro-óptico aceptable para los procesos de fabricación descritos en las invenciones (unos pocos milímetros) y un número de lentes más elevado como parte de un solo sensor monolítico. Refiriéndonos a la figura 22.B, la utilización de un meta-material 4 de un índice de refracción inferior a 1 disminuye la distancia x, y posibilita la deposición de una segunda capa de meta-material 4' sobre las micro-lentes plenopticas, sobre la que por ejemplo se puede construir lentes cóncavo/convexas 5', o bien lentes bi-concavas 5" , o bien lentes cóncavo/convexas 5'" , o bien lentes bi-convexas 5"" , o bien una combinación de varias lentes con una estructura de "sándwich" similar a la expuesta en la figura 22.B, dando lugar a un sensor monolítico que integra todas las lentes de una micro- cámara, que merced a la utilización de las técnicas fotolitográficas descritas en la invención, rivaliza en algunas prestaciones, como por ejemplo en aberraciones ópticas y en eficiencia lumínica, con sus equivalentes de gran tamaño, superando a dichas cámaras en facilidad para producción en muy altos volúmenes a muy bajo coste.
El orden en el que se depositan las diferentes lentes puede ser cualquiera conveniente para el diseñador, de esta manera la estructura de la figura 22.B es el equivalente micro-óptico de una estructura como la de la figura 6.B (a excepción del zoom, que también puede construirse micro-ópticamente, como veremos más adelante); si la capa 5 (de la figura 22.B) se sitúa en la parte superior del "sándwich-óptico" llegamos a estructuras integradas equivalentes a las de las figuras 5.A y 5.B ; o si se sitúa la segunda (inmediatamente bajo la lente de entrada que separa la micro-camara del espcio objeto) llegamos a equivalentes micro-ópticos de las lentes de las figuras 7. A y 7.C.
Sin llegar a los extremos de reducción de tamaño expuestos en la figura 22.B merced a la utilización de materiales con índices de refracción inferiores a 1 , se obtienen cámaras monolíticamente integradas, tal como se describe en la figura 22.C (donde las separaciones entre capas no han sido dibujadas a la misma escala que en 22.B). Los materiales de bajo índice de refracción (4) de la figura 22.B han sido re -emplazados por aire (u otro gas), y la separación entre las lentes de alto índice de refracción (5), incluidas las micro-lentes, se ha garantizado merced a la utilización de obleas separadoras , de manera que sobre la oblea de sensores (incluyendo las capas 1 , 2, 6, 7, 8 y opcionalmente la 3) se ha situado una primera oblea de separación \"" ', sobre la que se ha situado una oblea de micro-lentes plenopticas 5, sobre esta se ha situado una segunda oblea de separación que sirve de soporte para la colocación de una primera lente (convexo-cóncava en este ejemplo), y así sucesivamente, construyéndose una micro-cámara de excelentes prestaciones adecuada para su utilización en dispositivos portátiles (teléfonos móviles, laptops, tablets, etc., etc.). Esta invención es un super-set de la expuesta en la figura 14.b, merced a la adición de más lentes mediante el apilado de obleas ópticas sobre la oblea de sensor y sobre la primera oblea de lentes plenopticas.
Las técnicas de fabricación ya han sido expuestas al describir la figura 14.b, explicamos a continuación diversas posibilidades para la fabricación de las obleas de lentes en las capas superiores de la figura 22.C, algunas de ellas ampliamente descritas por Wolterink, Dohmen, Sander Van Der Sijde, Arjen, De Bruin, Groot, Van Arendonk y Antón en la patente WO 2004/027880 A2. Con los materiales descritos al explicar la figura 14.b se pueden formar sobre un fino sustrato transparente elementos ópticos cóncavos mediante técnicas de replicación, dando así lugar a lentes plano-convexas (esféricas, asféricas o anamórficas). Es posible también utilizando técnicas de replicación construir lentes sobre un sustrato de material no transparente en el que se han llevado a cabo aperturas (huecos de paso para la luz) de las dimensiones del sensor (de una manera similar a como sería una loncha de un queso gruyere con lentes en sus huecos, pero obviamente con huecos para el paso de la luz diseñados de una manera más regular), el sustrato no transparente evita que el "ruido-lumínico" alcance el sensor; se pueden por ejemplo replicar lentes convexo-cóncavas en los huecos del sustrato, reduciéndose de esta manera el grosor del micro-objetivo resultante. Otra manera menos eficiente de construir lentes convexo-cóncavas es replicar en la parte superior de un fino sustrato transparente la superficie convexa, con su correspondiente concavidad replicada en la parte inferior del sustrato. Se pueden construir obleas ópticas de la manera descrita con cualquier perfil, no solo los expuestos en la figura 22.C sino cualquier lente anamórfica. Apilando obleas como las descritas anteriormente, o con cualquier otra combinación fácilmente extrapolable para expertos en óptica, de esta manera se puede fabricar casi cualquier tipo de mini-cámara integrada monolíticamente .
Además de las técnicas descritas en el párrafo anterior, se fabrican obleas con vidrios o materiales transparentes fotosensibles con altos índices de refracción que pueden ser atacados mediante técnicas fotolitográficas bien conocidas en el estado del arte, dando lugar a cualquier tipo de lentes con cualquier perfil en ambos lados de la lente, con unas aberraciones envidiables comparando con los métodos de fabricación de lentes de gran tamaño merced a las pequeñas tolerancias conseguibles utilizando técnicas fotolitográficas. Otra posibilidad es depositar un material foto-resistivo sobre la oblea óptica, sometiendo a continuación a dicho material a una exposición mediante mascaras grises, positivándolo para así crear el perfil óptico de la lente deseada sobre el material foto-resistivo, para a continuación proceder con un ataque físico o químico (etching) que no solo eliminará el material foto-resistivo, sino que reproducirá el perfil de la superficie obtenida fotolitográficamente sobre el sustrato óptico. Dicha técnica da lugar a lentes sin posible comparación ni en tamaño ni en aberraciones con el estado del arte anterior. El orden en que se apilan las obleas y construyen las capas ópticas del sensor (o micro-cámara) no tiene porqué ser el ilustrado en las figuras 22.B y 22.C, por ejemplo, la oblea de micro-lentes pudiera ser la última en lugar de la primera (contando a partir de la superficie de las lentes de pixel), dando lugar a una implementación monolítica semejante a la implementación discreta (con lentes individuales) en la figura 5. A; en otro ejemplo la oblea de micro-lentes pudiera situarse entre la lente de entrada y el resto de lentes (situadas entre la MLA y el sensor), dando lugar a una implementación monolítica de la estructura en las figuras 7.A, 7.B y 7.C.
Soluciones mixtas en entre la figuras 22.B y 22.C son también posibles, donde las lentes más cercanas al sensor se construyen mediante la deposición de capas alternativas de bajo y alto índice de refracción, mientras que las capas más alejadas del sensor se construyen mediante separadores y apilamiento de obleas. Las micro-lentes pueden formar parte de la primera estructura (obtenida mediante crecimiento de capas en el sensor) o de la segunda estructura (obtenida mediante apilamiento de obleas). Cualquier permutación, tanto en el orden de las capas como en la técnica de fabricación es posible.
Un campo de innovación totalmente distinto en esta invención es en el número de megapíxeles integrables (tanto en cámaras de gran tamaño como en mini-cámaras para teléfonos móviles, tabletas y dispositivos portátiles), en teoría pudiendo seguir la ley de Moore aplicada en microelectrónica, pero en la práctica limitada por la ineficiencia lumínica de pixeles muy pequeños, el tamaño de los pixeles no se puede disminuir indefinidamente, pues para dimensiones muy pequeñas la naturaleza ondulatoria de la luz comienza a manifestarse, los haces de luz que los objetivos, las micro-lentes plenópticas y las micro-lentes de píxel llevan sobre los pixeles (foto- sensores) no tienen una densidad de potencia luminosa plana e independiente de las distancias sobre la superficie del sensor, la densidad de potencia tiene una forma como la de la figura 27.A (suponiendo lentes circulares en el recorrido luminoso), con una región central donde se concentra casi toda la energía (en el centro del píxel, el llamado círculo de Airy, en gris oscuro en la parte inferior de la figura 27.A), y unos lóbulos secundarios cada vez más pequeños a medida que nos alejamos del centro del píxel (anillos de Airy, anillos concéntricos en grises más claros en la parte inferior de la figura 27.A). Es un hecho bien conocido que, en un sistema óptico cuya pupila de salida es circular, la distribución de irradiancia asociada a la imagen de un objeto puntual está constituida por un lóbulo central circular en el que se concentra la mayor parte de la energía (84%) , y una serie de anillos concéntricos de intensidad decreciente.
En una de las implementaciones descritas, como las lentes de píxel no son semiesferas (o semi- asferas) perfectas, sino cuatro sectores semiesféricos (o semi-asféricos) intersectándose entre ellos para concentrar el haz de luz sobre un foto-sensor cuadrado (ver figura 24), los círculos y aros de Airy no son círculos perfectos, sino cuatro sectores circulares componiendo lo que hemos denominado un "cuadri-circulo" como el observado en la parte superior de la figura 27. B (comparado con un circulo de Airy habitual en la parte inferior de la figura). Sin embargo dicha peculiaridad no resta generalidad a las invenciones que se describen a continuación. En caso de que las lentes de pixel fueran hexagonales se daría lugar a una distribución de potencia en forma de "hexa-circulo".
Si la dimensión del píxel (micro-lente y/o foto-sensor) se hace tan pequeña como el lóbulo fundamental de energía luminosa (circulo de Airy de la figura 27. A o 27.B), las colas secundarias de potencia (anillos de Airy de la figura 27.A, o "cuadri-anillos" en la figura 27. B) pueden llegar a caer en los pixeles adyacentes en lugar de en el foto-sensor correcto, dando lugar a interferencias entre pixeles. Antes de llegar a dicho fenómeno de interferencia entre puntos, dependiendo entre otros factores del cociente entre índices de refracción, puede ocurrir que las micro-lentes (semiesferas, o mejor dicho "cuadri-esferas", formadas por cuatro sectores esféricos o asféricos, o "hexa-esferas" en caso de micro-lentes hexagonales, o trian-esferas o de cualquier otra forma geométrica) entre píxeles adyacentes lleguen a solaparse, tal como se observa en la figura 28, la cual ilustra por ejemplo un proceso sub-micrónico profundo, donde el área del foto-sensor es muy elevada respecto al área total del sustrato (foto-sensor y circuitos de polarización y lectura). El hecho de que las dos semiesferas (o las dos lentes asféricas o las dos cuadri-esferas) de dos píxeles adyacentes se solapen, no tiene ningún efecto negativo, más bien es un efecto positivo, ya que en caso de que el área del foto-sensor fuera muy pequeña respecto al área total del sustrato, el espesor en dirección vertical del material de la micro-lente de píxel (3) sería muy elevado, aumentando el tamaño total de la estructura. En este caso, el espesor de la micro-lente de pixel 3 en dirección vertical es tan bajo, y el espacio en dirección vertical desde la superficie de la micro-lente de píxel hasta el foto-sensor es tan pequeño, que con un espesor bajísimo de dicha estructura llevamos prácticamente el 100% de la energía luminosa recibida a través del objetivo principal de la cámara a la superficie útil de los foto-sensores. Una diferencia respecto a algunas de las estructuras vistas anteriormente es que los límites de la superficie superior de las micro-lentes 3, en la parte más baja de su perfil, no llegan a tocar el sustrato 1 , haciendo que en las líneas de intersección entre la superficie de dos micro-lentes adyacentes el material de bajo índice de refracción 4 siempre esté situado a una mínima distancia del sustrato 1 , tal como se ilustra en las figuras 28 y 29.
En caso de especificar un diseño de dimensiones muy reducidas, donde la cámara formaría parte de una aparato de muy pequeñas dimensiones y al mismo tiempo nos viéramos obligados a tener un número de píxeles muy elevado, la reducción de las dimensiones puede llegar hasta el extremo en que el tamaño de cada uno de los foto-sensores puede verse obligado a alcanzar tamaños similares a la anchura del lóbulo principal de la figura 27. En este caso tenemos que aceptar que habrá cierto ruido inter-píxeles, que si es lo suficientemente bajo no tiene por qué tener un detrimento apreciable en la calidad de la imagen, también debemos aceptar que la energía luminosa que alcanza los foto-sensores no será el 100% de la energía incidente.
De hecho, acercándose a tales dimensiones (cercanas a unas pocas mieras, incluso ligeramente por debajo de la miera) en la mayoría de los casos la riqueza de detalles de la imagen tan sólo puede ser apreciada merced a los zooms llevados a cabo en un soporte informático para visualizar detalles de un área determinada de la imagen hasta que los pixeles se hacen demasiado visibles a costa de zooms excesivos, bajo dicha circunstancia una pequeña interferencia entre píxeles adyacentes, mostrando un pequeño cambio de detalle de la imagen en el mundo real, no es tan importante como el que dichos detalles en el mundo real tengan colores diferentes. En dicha circunstancia, si los filtros de colores, en lugar de diseñarse píxel a píxel, se diseñan micro-lente a micro-lente, el efecto de interferencia entre píxeles es mucho menos dañino, adoptándose estructuras como la de la figura 30. Existen varias posibilidades, una de ellas es situar los filtros de colores sobre las lentes plenópticas (parte superior de la figura 30), otra posibilidad es situar los filtros (como se ha hecho tradicionalmente) entre las lentes de píxel y los foto-sensores (parte inferior de la figura 30), una tercera es utilizar filtros de más pequeño espesor mezclando las dos soluciones descritas combinadas (filtros bajo las micro-lentes de píxel y también sobre -o bajo- las micro-lentes plenópticas). Otra posible solución sería que las propias micro-lentes plenópticas no sólo estuvieran construidas por un material transparente con alto índice de refracción, sino también con propiedades de filtrado de colores, tal como aparece en la figura 31. También es posible que las micro-lentes de píxel sean también micro-lentes de filtrado (tal como se ilustra en la parte inferior de la figura 32), o soluciones mixtas en las que el filtrado se lleva a cabo en ambos arrays de micro-lentes. Dichas estructuras son también más eficientes bajo el punto de vista práctico, ya que las características de dispersión, índice de refracción y otras características ópticas de los materiales utilizados para fabricar las micro- lentes de píxel y las micro-lentes plenópticas, no siempre son independientes de la frecuencia (del color), posibilitando diseños en los que las micro4entes de píxel y plenópticas son diferentes y optimizadas para cada color, y permitiendo la utilización de materiales ópticos de menos sofisticación y precio.
Estructuras como las descritas en los párrafos anteriores, o bien estructuras donde los lóbulos laterales de la figura 27 (anillos de Airy) caigan sobre las áreas del sustrato opacas destinadas a los circuitos de polarización y lectura, eligiendo separaciones entre pixeles como por ejemplo las mostradas en las figuras 33.A, 34 y 35, son fáciles de obtener merced a la utilización de técnicas de fabricación microelectrónica aplicadas a las capas ópticas como las descritas en la invención. En el extremo de aumento del número de megapixeles de un sensor y la necesidad de un tamaño muy reducido por imperativo de la aplicación, se puede ir hasta el límite de adoptar diseños como en la figura 33.B, donde el centro de un píxel podría situarse en el valle de potencia de sus pixeles más cercanos, aprovechando la ortogonalidad entre colores de pixeles adyacentes (diferente frecuencia) merced a la utilización de filtros de diferentes colores en pixeles adyacentes, como se explicará en detalle más adelante.
Llegado a dichos extremos de reducción de tamaño, hay otros efectos de ruido que cobran importancia, como es la potencia luminosa en la zona del espectro infrarrojo o infrarrojo próximo que, aun no siendo perceptible a la vista humana, es un ruido no despreciable en los foto-sensores; la manera de minimizarlo es añadir filtros para dichos rangos de frecuencias. Dichos filtros pueden situarse en cualquier punto (o en varios puntos) del recorrido óptico, en sí mismos o combinados con los filtros de colores (merced a la utilización de filtros no sólo de un color sino de muy alta selectividad para los rangos de frecuencia cuyo ruido se desea evitar), de esta manera los filtros de infrarrojo pueden situarse sobre las micro-lentes plenópticas, formando parte del material de las micro-lentes plenópticas, entre las micro-lentes de píxel y el sustrato, formando parte de las micro-lentes de píxel, sobre la micro-lentes de píxel, en el material de bajo índice de refracción situado entre las micro-lentes de píxel y las micro-lentes plenópticas (por ejemplo en el material 4 en la figura 29). También pueden construirse merced a una combinación de varios de los métodos descritos.
La figura 34 muestra la distribución de energía luminosa sobre 4 pixeles adyacentes formando un patrón Bayer (cuadrado de 4 pixeles verde, rojo, azul, verde) comúnmente utilizado para sensores en color. En la parte superior de la figura se incluye la irradiancia procedente de las micro-lentes de píxel y sus correspondientes filtros de color, en este caso podemos observar que el área del foto-sensor (cuadrado interior rodeando las letras V, R, A y V) y la micro-lente de píxel se han diseñado para que el lóbulo principal de irradiancia alcance la superficie del foto- sensor, y los lóbulos segundo y tercero incidan sobre una zona opaca, evitando así cantidades de ruido apreciables en foto-sensores adyacentes. La figura 35 ilustra el fenómeno de una manera más clara (utilizando la notación de las figuras anteriores): sobre el sustrato 1 se han construido los foto-sensores 2, y sobre éstos se han depositado los filtros verde 6 y rojo 7; sin embargo, sobre el "área no activa del sustrato" (el área no empleada por los foto-sensores, normalmente utilizada para circuitos de polarización, conversores AJO y lectura de los foto-sensores) se ha depositado una capa de material opaco que no permite que los lóbulos secundarios alcancen el sustrato, dependiendo de la tecnología dicho material puede también jugar el rol de "metal de conexionado" para los foto-sensores (normalmente utilizado en los procesos CMOS), aunque en lugar de metal puede incluir otros elementos opacos normalmente utilizados o utilizables en la fabricación de semiconductores.
La figura 36 muestra el patrón Yotsuba, el otro patrón normalmente utilizado en sensores de color (con pixeles blancos dispuestos en diagonal, y entre ellos diagonales de pixeles verdes y diagonales con pixeles alternos: 2 azules y 2 rojos), las discusiones llevadas a cabo anteriormente son también aplicables a dicho patrón.
En cuanto a por ejemplo en un proceso CMOS, u otro proceso de fabricación de foto-sensores futuro, presente o pasado, se avanza hacia tecnologías más sub-micrónicas, los circuitos de polarización, lectura y conexionado se hacen más pequeños, ofreciendo la posibilidad de diseñar más densidad de pixeles en un espacio cada vez más reducido, si al mismo tiempo intentamos mejorar la utilización del sustrato, con áreas de foto-sensores cada vez más elevadas en porcentaje frente al total del área del sustrato (por motivos obvios de coste, ya que por ejemplo en un proceso CMOS el coste es proporcional al área de silicio) se puede llegar a estructuras como las de la figura 37, donde el área de los foto-sensores es muy elevada frente al total de área del sustrato, sin embargo tendremos el problema de que los lóbulos segundo y tercero de un píxel iluminarán los foto-sensores adyacentes, deteriorando la relación señal ruido (en cuanto a ruido inter-píxeles se refiere). En realidad dicho problema es menos severo de lo que parece a primera vista, debido a la ortogonalidad entre colores, ilustrada en la figura 38, mostrando un diseño en que las necesidades de la aplicación han especificado unas dimensiones muy pequeñas para el sensor y un número de pixeles por unidad de área muy elevado, tanto que no se puede seguir reduciendo dimensiones de las micro-lentes de píxel ni de los foto-sensores, pues en cuanto dichas dimensiones comienzan a hacerse comparables con la longitud de onda de la luz incidente el haz de luz sufre difracciones y la estructura óptica deja de ser eficiente (muy pocos fotones alcanzarían los foto sensores), y recordemos que en el momento de escribir esta patente varios fabricantes de semiconductores han comenzado a fabricar en volumen con tecnologías CMOS de 28 nanómetros para las dimensiones de la puerta de un transistor, obviamente foto-sensores de dichos tamaños no serían eficientes, ya que las longitudes de onda de la luz serian bastante más altas que las dimensiones del foto-sensor, dando lugar a procesos de difracción que reducen de una manera muy apreciable la eficiencia lumínica.
La necesidad imperiosa de tamaño reducido, alto empaquetado y por lo tanto un alto número de pixeles en un espacio muy reducido, ha empujado a diseñar el conjunto "foto-sensor/micro-lente de píxel" de manera que el pico de irradiancia de un conjunto "micro-lente de píxel/filtro" caiga en el primer cero de irradiancia de los pixeles adyacentes (como se ilustra en las figuras 33.B y 38), dando lugar por ejemplo en una estructura Bayer a las irradiancias en colores rojo y verde en la parte superior de los pixeles de la figura 38. Sin embargo el problema de interferencia inter-píxeles es minimizado por la ortogonalidad de colores, la parte inferior de la figura 38 refleja la irradiancia del color verde al atravesar el filtro rojo, con una atenuación de filtrado de 6 decibelios (trazo continuo) y 10 dB (trazo punteado): obviamente no se puede aumentar indefinidamente la atenuación de los filtros, ya que estos alcanzarían un espesor prohibitivo, sin embargo es fácil llegar a una situación con contrastes aceptables para la gran mayoría de las aplicaciones.
Más crítica es la interferencia entre puntos vecinos del mismo color, ya que el ruido del píxel adyacente no es filtrado. En este aspecto el patrón Bayer ofrece mejores prestaciones, ya que tan solo los pixeles verdes tienen vecinos verdes en diagonal, mientras que en el patrón YOTSUBA todos los puntos tienen vecinos del mismo color en diagonal. Este fenómeno es ilustrado en la figura 39, en este caso el porcentaje de área del foto-sensor frente al total del sustrato es lo suficientemente bajo como para que los dos haces de luz verde tengan su primer lóbulo de potencia en el área del foto-sensor, y el segundo y tercer lóbulos iluminen el área opaca entre foto-sensores. Sin embargo, a medida que la necesidad de tener más pixeles en menos área empuja a ello, y tecnologías más sub-micrónicas lo permiten, se llega a situaciones como la de la figura 40, que puede ser lo suficientemente buena para ciertas aplicaciones, pero el criterio de diseño la ha empujado a tener haces luminosos entre "microlentes/sensores" adyacentes que se solapen entre ellos, no sólo el solape atenuado entre colores (el rojo -mostrado con gran atenuación en la figura- y el azul con el verde), sino también dos haces de verde solapándose entre ellos. Recordemos que no es posible diseñar ni el área de los sensores ni las micro-lentes más pequeñas, ya que para dichas dimensiones por debajo de cierto umbral los fenómenos ondulatorios comienzan a imperar sobre las propagaciones rectilíneas, y por debajo de dichos umbrales estas estructuras dejan de ser eficientes, dando lugar a múltiples difracciones y refracciones que impiden la llegada de una cantidad apreciable de fotones a los sensores. Llegado este momento debemos aceptar ciertas ineficiencias, que a pesar de ello darán lugar a sensores lo suficientemente idóneos para una gran mayoría de las aplicaciones que requieran tamaños muy reducidos y gran densidad de pixeles por unidad de área, especialmente si minimizamos dicho problema con las invenciones descritas a continuación. En primer lugar, la figura 40 muestra que no todo el lóbulo principal de irradiancia es proyectado sobre superficie sensorial, parte del lóbulo principal cae en zona opaca (un deterioro de la eficiencia que debemos aceptar en aras a la miniaturización), pero más grave todavía es el hecho que el segundo y tercer lóbulos de un píxel verde introducen ruido en otro píxel verde adyacente, incrementando el ruido inter-píxel, tal como se muestra en la figura 40, ya que no existe ningún tipo de atenuación con filtros al tratarse de vecinos del mismo color. La figura 40 también muestra como la irradiancia del píxel rojo (y también del azul, que aunque no está dibujada sería exactamente igual) en zona verde se ve notablemente atenuada por los filtros.
La necesidad de espacio, la tendencia hacia la miniaturización y el aumento del número de pixeles, ha empujado hacía estructuras en las que los haces iluminando pixeles adyacentes se solapan entre ellos, en dicha situación los fenómenos ondulatorios, que pueden ser despreciados trabajando con dimensiones más elevadas, han de ser tenidos en cuenta para que los sensores sigan funcionando. La irradiancia de la figura 27.A forma los llamados círculos de Airy sobre los sensores (o los cuadri-círculos de la figura 27. B en nuestro ejemplo con lentes de pixel cuadradas, o los "trian-circulos" en caso de utilizar pixeles y lentes de pixel triangulares), dados por la expresión: n sin c
E(pl = λ
n sin σ ,
π p donde J1 representa la función de Bessel de primera especie y orden uno, λ la longitud de onda, n el índice de refracción, cr'el ángulo de incidencia de los rayos luminosos entre la pupila de salida y el plano de los foto-sensores, y p" la coordenada radial del plano imagen. El primer cero de la función aparece en p1—0, 61Á/ rísiruj', mostrando que los radios del circulo de Airy dependen de la longitud de onda incidente, lo que establece como criterio de diseño la utilización de distintas áreas de la zona de foto-sensores para los distintos colores, o bien diseñar perfiles de lentes diferentes para cada color.
En el caso del patrón Bayer, la interferencia entre los dos píxeles verdes contiguos en dirección diagonal es menor de lo que sería la interferencia entre dos píxeles rojos contiguos en diagonal con el patrón Yotsuba, ya que la longitud de onda es menor y por lo tanto los círculos de Airy verdes son menores que los rojos. Aun así, si aproximamos los píxeles entre ellos de tal manera que llegamos al límite de lo prudente y los dos haces de luz verde comienzan a juntarse, podemos tomar medidas (acciones) a nivel de diseño de los foto-sensores, así la figura 41 muestra como en el píxel de la derecha se ha aumentado la separación entre píxeles verdes al cambiar la estructura física del foto-sensor (la esquina lateral izquierda del foto-sensor verde de la derecha se ha suprimido -eliminándola del área activa del sustrato-, convirtiendo el cuadrado en un hexágono en caso de diseñar pixeles simétricos). Más eficiente es el píxel verde de la parte izquierda de la imagen, en él se ha extraído de su esquina derecha un área triangular en la parte derecha del foto-sensor verde (convirtiéndola en área no activa del sustrato), alejando más la distancia entre los dos foto-sensores verdes adyacentes en la zona de máxima penetración de luz verde procedente de las micro-lentes/filtros del sensor verde contiguo, recordemos que la luz procede de la parte superior de la estructura, es difractada por las micro-lentes para llevarla sobre el sensor y finalmente filtrada por los filtros de color, que pueden ser parte del mismo material de las micro-lentes o bien ser capas planas de color situadas bajo las micro-lentes. En cualquiera de las dos situaciones descritas, la parte de la irradiancia que pasa entre dos zonas verdes contiguas más elevada será la que pasa por el vértice donde convergen los sensores de los 3 colores (los 4 pixeles adyacentes) por un doble motivo, en primer lugar al alejarse del vértice se aumenta la distancia y por lo tanto la atenuación (alejándose del centro del disco de Airy), en segundo lugar la luz verde procedente de la micro-lente verde adyacente que llega hasta puntos alejados del vértice (en las zonas de confluencia verde-rojo y verde-azul) pasa por los filtros rojo y azul antes de llegar a la zona verde, atenuándose hasta extremos que la hacen imperceptible en la zona verde adyacente, y es este el motivo por el que truncar el sensor extrayendo una zona triangular del área de dicho sensor, creando un área "no sensitiva" muy ancha en la zona más próxima al sensor verde adyacente, pero que se estrecha tal como aumenta la distancia del sensor adyacente, y que alcanza su máximo de área no sensitiva en la zona de máxima penetración de luz verde procedente del sensor adyacente en diagonal, luz que ha penetrado por el punto de más baja atenuación (el vértice de confluencia de las cuatro píxeles, ver figura 41), lo que minimiza el ruido entre píxeles.
Algunas tecnologías microelectrónicas no permiten en sus reglas de diseño y foto-litografía líneas trazadas a cualquier ángulo, tan solo verticales, horizontales y en ángulos de 45 grados, en dicho caso el triángulo de ausencia de área activa del foto-sensor se trazará de la forma indicada en la figura 41 a la derecha del foto-sensor verde más a la derecha del patrón Bayer. Otras tecnologías son incluso más restrictivas y permiten tan sólo líneas verticales y horizontales, en dicho caso el "triángulo" de ausencia de área activa se diseñaría tal como se muestra en la esquina a la izquierda del sensor verde situado a la izquierda de la figura 41.
Los patrones expuestos en la figura 41 parecen de muy reducidas dimensiones, sin embargo debemos recordar que las longitudes de onda del espectro luminoso pueden comprender desde cerca de 400 nanómetros en la parte alta del espectro azul hasta cerca de 800 nanómetros en la parte baja del espectro rojo. Mientras en el momento de escribir la patente, tecnologías CMOS sub-micrónicas de 28 nanómetros estaban en producción en alto volumen, lo que indica que en casi cualquier tecnología CMOS (u otras tecnologías pasadas, presentes y futuras) es fácil diseñar geometrías con dimensiones mucho menores que las longitudes de onda del espectro de luz visible, que son las que fijan las dimensiones mínimas de las micro-lentes y los micro- sensores para evitar fenómenos de difracción.
Las invenciones descritas en el presente documento granjean grandes ventajas en cuanto a la fabricación de grandes volúmenes de sensores plenópticos de muy alta calidad a muy bajo precio, también granjean grandes ventajas en cuanto a la fabricación de sensores de un número creciente de megapíxeles en aplicaciones de tamaño reducido, permitiendo alcanzar límites en los que los fenómenos ondulatorios de la ondas luminosas ya no pueden ser ignorados, algunas de las cuales describimos en detalle a continuación.
Estructuras como las descritas en este documento pueden formar parte también de chips 3D, donde en la parte inferior de estructuras como las mostradas en las figuras 14, 14.b, 22.B y 22.C, en lugar de ser soldada sobre un circuito impreso es situada sobre otro circuito integrado con alguna función específica, como por ejemplo el procesamiento plenoptico.
Las invenciones mencionadas pueden ser combinadas con zooms micro-mecánicos, en los que alguna(s) de las lentes del sándwich óptico se mueve(n) perpendicularmente al eje axial accionadas por MEMS (Micro-Electro-Mechanical Systems, ó Sistemas Micro Electro Mecánicos), pudiendo de esta manera re-enfocar la imagen o utilizar la estructura a modo de zoom óptico.
Las invenciones mencionadas pueden ser combinadas con zooms estáticos externamente controlables, en los que alguna(s) de las lentes del sándwich óptico cambia(n) su(s) distancia(s) focal(es) bajo el control de un parámetro exterior (un voltaje, una corriente u otro parámetro), pudiendo de esta manera re-enfocar la imagen o utilizar la estructura a modo de zoom óptico.
Los principales prototipos y los primeros productos existentes en el mercado utilizan micro- lentes como las descritas en el "estado del arte", la utilización de foto-sensores y micro-lentes como las descritas en este documento les dota de las ventajas de aplicación que describimos a continuación.
Ejemplos de uso mostrando diferencias respecto al estado de la técnica anterior
Foto-sensores utilizando geometrías de píxel como las descritas en la figura 41 se pueden utilizar para captar imágenes de una muy alta densidad de píxeles en muy pequeño espacio con resultados de contraste entre pixeles mejorando notablemente el estado del arte, aumentando la relación señal/ruido entre pixeles adyacentes; cabe citar por ejemplo las aplicaciones para cámaras de teléfonos móviles, tabletas u ordenadores portátiles con un número de megapíxeles muy elevado y creciendo cada vez más y muy pequeña dimensión (los sensores ocupan por debajo de 1 cm x lcm). Dicha invención es aplicable tanto a sensores tradicionales (sin micro- lentes plenopticas) como a sensores de campo de luz (con micro-lentes plenopticas) pero especialmente beneficiosa en este último caso, ya que el balance entre número de pixeles por micro-lente (para discriminar más direcciones de llegada) y un numero de micro-lentes cada vez más elevado de cara a aumentar el número de megapíxeles utilizables empujará a sensores con un número total de pixeles más allá del estado del arte actual, dejando lejos los límites impuestos por la Ley de Moore pero paliando en la medida de lo posible los fenómenos ondulatorios de la luz que dan lugar a refracciones indeseadas para muy pequeñas dimensiones de los pixeles.
En caso de poder relajar las especificaciones en cuanto a número de megapíxeles por unidad de área, tal como se muestra en la figura 40, o en mayor medida en la 39, lo que también permite utilizar tecnologías de foto-sensores de más bajo coste (o utilizando tecnologías densas incrementar el número de megapíxeles por unidad de área de sensor), se puede alcanzar un número de megapíxeles muy alto (más allá del estado del arte actual) con una muy alta eficiencia lumínica y un alto contraste en una cámara de tamaño normal/grande para aplicaciones en las que el espacio no es un importante criterio de diseño (por ejemplo, en una DSLR el tamaño del sensor puede ser de varios cm de cada uno de sus lados). También para aplicaciones en terminales portátiles (teléfonos, tabletas, ordenadores portátiles,...) se puede alcanzar muy altos contrastes y muy altas calidades de imagen (con muy bajo ruido) para aplicaciones en las que la alta cantidad de megapíxeles no sea el objetivo fundamental, calidad que puede llegar a ser muy alta en caso de que el área de píxel contenga al primer círculo de Airy completo (como se describe en la figura 39), bajo dichas circunstancias el 84% de la luz incidente llega a los foto-sensores, tan solo cabría aumentar de manera apreciable la sensibilidad y el contraste de los sensores de una tecnología dada en caso de multiplicar por 4 el área de los sensores (para incluir el segundo lóbulo de Airy en el área del sensor). Las afirmaciones llevadas a cabo en este párrafo aplican a sensores y cámaras digitales tradicionales, pero son especialmente útiles para sensores plenopticos en cámaras, ya que el número de micro-lentes crecerá de forma exponencial y por lo tanto el número de pixeles precisados para discriminar un número elevado de direcciones.
Las invenciones mencionadas mejoran el estado del arte en cuanto a densidad de pixeles hasta el punto en que el factor dominante que comienza a deteriorar la eficiencia de sensores/cámaras es la difracción luminosa, especialmente en los colores rojos, de mayor longitud de onda y por lo tanto los primeros que comienzan a difractarse. Estas invenciones pueden utilizarse en sensores normales o bien en sensores plenopticos como en las aplicaciones que se describen a continuación.
Invenciones como las expuestas en las figuras 14, 14.b, 15, 16, 17, 18, 22, 22.B, 22.C, 23 y 26 pueden dar lugar a sensores plenopticos en los que, con un apropiado proceso de la información en los pixeles, se puede obtener información no sólo sobre las intensidades de color en los pixeles, sino también la dirección de llegada de los rayos de luz, dando lugar a novedosas aplicaciones en las que es posible re-enfocar las imágenes en un plano del mundo real diferente al plano enfocado en el disparo de la fotografía, es posible obtener imágenes completamente enfocadas (en todos los puntos de la fotografía), obtener imágenes 3D (de tres dimensiones) para displays 3D en pantallas de cine o en monitores con gafas activas (con imágenes estereoscópicas), en pantallas/monitores con gafas pasivas o en las nuevas y futuras pantallas/displays 3D sin gafas. El número de pixeles y el número de posibles planos enfocados a distintas profundidades (que crece linealmente con el número de pixeles por micro-lente) se incrementa drásticamente merced a la utilización de las invenciones.
Sensores plenopticos como los desarrollados con las invenciones descritas se pueden emplear desde en pequeñas cámaras portátiles con un número de foto-sensores relativamente pequeño, hasta en cámaras profesionales con una óptica sofisticada y un muy alto número de pixeles. Las principales ventajas respecto a otras técnicas plenópticas, que integran las micro-lentes plenópticas a nivel discreto en las lentes de la cámara o con una matriz de micro-lentes discreta situada en un plano por delante del plano del sensor, es la capacidad del proceso en obleas utilizando técnicas de fabricación similares a las empleadas en microelectrónica también para la óptica, obteniendo sensores plenópticos de muy alta calidad a muy bajos costes y con procesos de fabricación que se prestan a producciones en muy alto volumen, además de reducir las aberraciones ópticas e incrementar el número de micro-lentes por unidad de área, así como el número total de pixeles.
Uno de los inconvenientes de las tecnologías plenópticas es el número de pixeles resultantes, que dependiendo de los algoritmos utilizados, y de las posibles técnicas de super-resolución e interpolación de pixeles intermedios en la imagen final (post-procesado con algoritmos plenópticos) darán lugar a un numero de pixeles en la imagen más bajo que el número de pixeles del sensor; en el extremo más bajo algunos algoritmos ofrecen un número de pixeles igual al número de micro-lentes plenópticas. Este hecho, unido al hecho de que para discriminar direcciones de llegada de rayos se precisa de un número de pixeles por micro-lente lo más elevado posible daría lugar en el extremo a micro-lentes y a sensores más allá del estado del arte.
Las integraciones monolíticas de micro-lentes utilizando procesos micro-electrónicos y/o micro- ópticos avanzados, que por ejemplo en técnicas CMOS han alcanzado elevadísimas sofisticaciones debido a la grandes inversiones llevadas a cabo para microprocesadores, memorias y demás circuitos lógicos, permiten disponer de sofisticadísimos medios de diseño y producción que son también aplicables a las micro-lentes plenópticas, permitiendo la fabricación de arrays de micro-lentes plenópticas con un número de lentes más allá del estado del arte y con menores aberraciones ópticas que en sus equivalentes discretas.
Para apreciar las ventajas de las invenciones descritas en la presente patente, discutamos especificaciones de futuras tecnologías de adquisición de imagen hoy día imposibles de implementar. Supongamos que pretendemos fabricar una cámara de video 3D HDTV (aplicación en la que hoy en día se utilizan dos cámaras en paralelo para producir imágenes estereoscópicas, más que duplicando el coste de fabricación, aumentando de manera dramática los costes de post-proceso y disminuyendo la calidad de la imagen), en principio habría dos posibilidades, intentar utilizar unas micro-lentes de 1280x720 lentes (921.600 micro-lentes) o bien 640x360 (211.260 micro-lentes) con un algoritmo de super-resolución asociado que eleve el número final de pixeles a 1280x720. Supongamos también que utilizamos un parámetro razonable de 16 pixeles por micro-lente (dando lugar a 7 planos enfocados), ello daría lugar a un sensor de 14.745.600 pixeles en el primer caso o de 3.686.400 pixeles en caso de utilizar super-resolución, especialmente el primer valor es extremadamente alto, hacia el límite del estado del arte en el momento de escribir esta patente. En caso de pretender aumentar la calidad de las imágenes 3D y demandar 21 planos enfocados, harían falta sensores de 111,5 megapixeles sin utilizar super-resolución o 25,6 Megapixesles utilizando la super-resolución 2 a 1 , claramente más allá del estado del arte al escribir la patente, especialmente para aplicaciones de consumo de muy bajo coste.
Uno de los primeros sensores plenópticos industriales anunciados, que estarán disponibles en volumen durante el segundo trimestre del 2014, según aparece publicitado en el link adjunto (http://lightfield-forum.com/light-field-camera-prototypes/toshiba-lightfield-camera-m
contiene una matriz de 500.000 micro-lentes de 30 mieras de diámetro (número situado entre los dos requeridos para la cámara HDTV citada en el ejemplo anterior) y un sensor CMOS 8 de Mega-rayos (igualmente situado entre los dos requisitos del párrafo anterior) en un área de 7 x 5 milímetros. A pesar de que no se han publicado datos sobre dicha tecnología, su implementación posiblemente ha sido llevada a cabo con técnicas similares a las expuestas en las figuras 6. A, 6.B o bien 8.A, 8.B. Según el mismo link web citado más arriba, la implementación discreta de la figura 6.B tiene un número de micro-lentes 5 veces inferior al sensor plenóptico referido en nuestro ejemplo, números relativamente bajos a la luz de las invenciones descritas en esta patente.
De la discusión en los párrafos anteriores se deduce que el estado del arte tan sólo podría implementar una cámara HDTV merced a la utilización de algoritmos de super-resolución, siempre con una calidad inferior a algoritmos sin super-resolución que utilicen un número mayor de micro-lentes. Los procesos micro-electrónicos descritos en las invenciones de la presente patente, en particular los procesos fotolitográficos son capaces de producir un número de micro-lentes notablemente superior al máximo de 500.000 micro-lentes anunciadas en la web anterior, además, el hecho de que se mencione en su documentación acerca del "radio" de las micro-lentes nos hace pensar que éstas son circulares en lugar de cuadradas, siempre menos eficientes, ya que el área comprendida entre varios círculos hace desperdiciar algunos de los píxeles del foto-sensor, y desperdicia también parte de la energía luminosa incidente.
Si el criterio de diseño fuera un sensor para una cámara para cine 3D con el objetivo de obtener 4000 x 3000 píxeles, de nuevo se podía diseñar con 12 Mega-lentes en el array plenóptico de microlentes (192 mega-píxeles en el sensor asumiendo 16 píxeles por micro-lente, con tan solo 7 planos enfocados), o bien 2000 x 1500 (3 mega-lentes) en al array plenóptico (48 mega- píxeles en el sensor) y un factor 2 de super-resolución; ambas especificaciones (especialmente la primera) están mucho más allá del estado del arte, y tan sólo se pueden implementar merced a la utilización de técnicas micro-electrónicas como las expuestas en la presente invención, tanto para las micro-lentes plenópticas como para los sensores de tan alta densidad de integración con niveles adecuados de ruido inter-píxel. Si además se pretendiera tener más de 7 planos enfocados en aras a aumentar la calidad de la imagen 3D, las especificaciones superarían con creces los mejores sueños sobre el estado del arte.
Por último, la utilización de meta-materiales con índices de refracción inferiores a 1 junto con los procesos micro-electrónicos descritos en esta patente hacen posible la integración monolítica de un objetivo completo construido sobre el sustrato del sensor; integraciones monolíticas como la descrita en la figura 22.B (con o sin las lentes plenópticas 5) darán lugar a módulos con unos costes de producción notablemente inferiores a los costes de fabricación ofrecidos a día de hoy en implementaciones como la descrita en la figura 11 , con técnicas de producción automatizadas que minimizan al máximo la intervención humana, disminuyen los costes de producción, y aumentan la calidad y la eficiencia lumínica y óptica de las cámaras; ello sin entrar a comparar con las cámaras como las expuestas en las figuras 5. A, 5.B, 7.A, 7.B y 7.C, soluciones que quedarán obsoletas frente a la utilización de los sensores expuestos en este documento.
Descripción de las figuras
Figura 1. Descripción de una de las posibles implementaciones del estado de la técnica anterior para un sensor plenóptico.
Figura 2. Descripción de una segunda posible implementación del estado de la técnica anterior para un sensor plenóptico.
Figura 3. Proyección de rayos sobre un sensor plenóptico en el caso de que el plano enfocado esté por detrás del sensor. Figura 4. Proyección de rayos sobre un sensor plenóptico en el caso de que el plano enfocado esté por delante del sensor.
Figura 5.A. Implementación de lentes plenópticas en la que las micro-lentes están situadas entre la lente principal de la cámara y el espacio objeto.
Figura 5.B. Lentes plenópticas de la figura 5.A montadas entre el espacio objeto (a la izquierda de la imagen), la lente principal y una cámara (a la derecha).
Figura 6.A. Implementación de un array de micro-lentes plenópticas situadas a muy pequeña distancia (0,5 milímetros) del plano de los foto-sensores.
Figura 6.B. Una de las primeras implementaciones industriales de la invención de la figura 6.A (un array de micro-lentes plenópticas situadas a muy pequeña distancia del plano de los foto- sensores).
Figura 7.A. Esquema óptico de una implementación en la que las micro-lentes plenópticas forman parte de un objetivo (grupo de lentes), situándolas entre la primera lente de entrada del objetivo (a la izquierda) y el resto de lentes (a la derecha).
Figura 7.B. Esquema mecánico-óptico de una de las piezas para la implementación de la estructura de la figura 7.A.
Figura 7.C. Esquema mecánico-óptico de una implementación de la estructura de la figura 7. A.
Figura 8.A. Implementación donde sobre un sustrato de foto-sensores se sitúan las micro-lentes plenópticas (construidas sobre un sustrato transparente 14b a muy pequeña distancia de los foto- sensores merced a la utilización de separadores de resina 42 entre los foto-sensores y el sustrato de las micro-lentes).
Figura 8.B. Implementación similar a la figura 8.A donde las micro-lentes se sitúan en la parte superior del sustrato transparente.
Figura 8.C. Implementación monolítica de una estructura que sitúa un array de micro-lentes 10 por encima de una array de sensores 30 construidos sobre un sustrato de foto-sensores 100.
Figura 9.A. Estado del arte de un sustrato de foto-sensores utilizando la técnica FSI (Front Side Illumination o Iluminación Frontal).
Figura9.B. Estado del arte de un sustrato de foto-sensores utilizando la técnica BSI (Back Side Illumination o Iluminación Trasera).
Figura 10. A. Estado del arte en la construcción de filtros de colores y micro-lentes de píxel sobre un sustrato de foto-sensores.
Figura 10.B. Evolución del estado del arte en la construcción de filtros de colores y micro- lentes de píxel sobre un sustrato de foto-sensores más allá de la figura 10.A.
Figura 10.C. Vista superior de la figura 10.B.
Figura 11. Módulo de cámara para aplicaciones portátiles (teléfono móvil, tableta, ordenador portátil), comprendiendo foto-sensor (montado sobre un circuito impreso flexible) y un soporte mecánico para situar las lentes sobre el foto-sensor. Figura 12. Módulo de cámara para aplicaciones portátiles (teléfono móvil, tableta, ordenador portátil), comprendiendo foto-sensor (montado en un empaquetado para circuito integrado) y una lente (126) de dos elementos sobre un sustrato transparente, todo ello envuelto en una estructura conductiva opaca, que protege de radiaciones electromagnéticas y da solidez mecánica al conjunto.
Figura 13. Módulo de cámara para aplicaciones portátiles (teléfono móvil, tableta, ordenador portátil), similar a la figura 12 pero montando dos lentes de dos elementos sobre dos sustratos transparentes, y un tercer sustrato transparente para proteger la estructura.
Figura 14. Implementación de algunas de las invenciones de esta patente, conteniendo un sustrato (1) sobre el que se construyen foto-sensores (2), sobre los que se han situado filtros de colores (6, 7 y 8), micro-lentes de píxel (3), un material de bajo índice de refracción (4) y las micro-lentes plenópticas (5).
Figura 14.b. Implementación similar a la anterior (figura 14) en la que el material de bajo índice de refracción ha sido sustituido por aire (u otro gas) y la oblea de micro-lentes se mantiene a cierta distancia de la oblea de sensores merced a la utilización de separadores.
Figura 15. Ejemplo de una segunda implementación de algunas de las invenciones.
Figura 16. Ejemplo de una tercera implementación de algunas de las invenciones.
Figura 17. Ejemplo de una cuarta implementación de algunas de las invenciones.
Figura 18. Ejemplo de una quinta implementación de algunas de las invenciones.
Figuras 19, 20, 21, 22. Detalle de una secuencia de fabricación de una de las invenciones: micro-lentes plenópticas sobre las micro-lentes de píxel utilizando para la óptica procesos normalmente utilizados en microelectrónica, procesos que se prestan al procesado de obleas para fabricación de muy altos volúmenes con muy alta calidad y muy bajo coste.
Figura 22.B. Miniaturización de tamaños merced a la utilización de materiales (o meta- materiales) con índices de refracción inferiores a 1 (capas 4, 4', 4", \"' y 4"") que hace posible la implementación monolítica de un objetivo completo incluyendo varias lentes (5"", 5"' , 5 " ', 5') y las micro-lentes plenópticas (5).
Figura 22.C. Implementación de la invención con funcionalidad similar a la de la figura 22.B sustituyendo el material de bajo índice de refracción por aire (u otro gas) y manteniendo las obleas ópticas separadas entre ellas y de la oblea optoelectrónica por medio de separadores.
Figura 23. Ejemplo de una implementación de las invenciones similar a las de la figura 14 en la que el área de los foto-sensores es relativamente baja respecto al área total del sustrato de foto- sensores y por lo tanto las micro-lentes plenópticas (3) tienen un espesor sobre el sustrato más alto que en la implementación vista en la figura 14.
Figura 24. Detalle de la construcción de una micro-lente (compuesta por 4 sectores esféricos o asfericos) sobre un foto-sensor y la parte del sustrato más cercana a dicho foto-sensor.
Figura 25.A. Vista superior de la figura 24, mostrando la construcción de dos micro-lentes sobre dos foto-sensores, incluyendo la parte del sustrato más cercana a dichos foto-sensores. Figura 25.B. Vista superior de la figura 24, mostrando la construcción de un array de 4x4 micro-lentes sobre 4x4 foto-sensores y la parte del sustrato más cercana a dichos foto-sensores.
Figura 26. Vista transversal de la figura 25. B, mostrando la construcción de una micro-lente plenóptica (5), sobre un material de bajo índice de refracción (4), situado sobre el array de 4x4 micro-lentes de píxel (3), situadas sobre un array de 4x4 filtros de colores (8, 6, 7), a su vez situados sobre un array de 4x4 foto-sensores (2) construidos sobre un sustrato (1).
Figura 27.A. Distribución de irradiancia asociada a la imagen de un objeto puntual sobre el plano de sensores en un sistema con una pupila de salida circular, dando lugar a los discos y a los anillos de Airy (la parte superior de la figura muestra la distribución de irradiancia en el eje vertical frente a la distancia del punto central en el eje horizontal, en la parte inferior se muestran los niveles de potencia por la intensidad de los grises).
Figura 27.B. Representación (en la parte superior de la figura) de un "cuadri-círculo" de Airy resultante la utilización de micro-lentes de píxel como las descritas en las figuras 24, 25. A, y 25. B, frente a lo que sería el circulo y anillos de Airy (en la parte inferior de la figura) si la óptica tuviera forma circular.
Figura 28. Micro-lentes de píxel solapándose entre ellas en una topología en la que el porcentaje de área de foto-sensor frente al total del área del sustrato es elevada y el espesor de las micro-lentes para cumplir su función impone dicho solapamiento.
Figura 29. Sección lateral de la figura 28 incluyendo sustrato (1), foto-sensores (2), filtros de color (6, 7, 8), microlentes de píxel (3), capa de bajo índice de refracción (4) y micro-lente plenóptica (5). Obsérvese que la capa 4 de bajo índice de refracción nunca llega a tocar los filtros de colores (8, 6 y 7).
Figura 30. Estructura en la que los filtros de colores se han agrupado por micro-lente plenóptica, y se han distribuido entre la capa bajo las micro-lentes de píxel y sobre las micro- lentes plenópticas. También pueden cumplir la misión de filtrado de infrarrojos.
Figura 31. Estructura en la que los filtros de colores se han agrupado por micro-lente plenóptica, dotando a dichas micro-lentes plenópticas con una segunda función, al estar construidas con un material que además de producir el requerido cambio del índice de refracción es selectivo al paso de colores.
Figura 32. Estructura en la que los filtros de colores se han agrupado en las micro-lentes plenópticas y en las micro-lentes de píxel, dotando a todas las micro-lentes (plenópticas y de píxel) de una segunda función, al estar construidas con un material que además de producir el requerido cambio del índice de refracción es selectivo al paso de los colores.
Figura 33.A. Distribuciones de irradiancia asociadas a las imágenes de dos objetos puntuales contiguos en el espacio objeto proyectados sobre dos píxeles contiguos en el plano de sensores a través de dos micro-lentes contiguas, dando lugar a dos discos de Airy no solapados y dos anillos de Airy interfiriéndose entre ellos en una zona situada entre ambos píxeles.
Figura 33.B. Distribuciones de irradiancia asociadas a las imágenes de cuatro objetos puntuales contiguos en el espacio objeto, proyectados sobre cuatro píxeles contiguos en el plano de sensores a través de cuatro micro-lentes contiguas. Los píxeles se han reducido a sus dimensiones mínimas aceptables en aras a evitar difracciones originadas por la naturaleza ondulatoria de la luz; de cara a aumentar la densidad de píxeles, los picos (máximos) de los discos de Airy se han situado sobre los ceros de irradiancia de los píxeles adyacentes.
Figura 34. Distribuciones de irradiancia en un patrón de Bayer sobre un píxel verde y un píxel rojo (sobre el azul sería similar) en los que las micro-lentes, las áreas de los foto-sensores y las zonas opacas entre foto-sensores, han sido dimensionados de manera que el lóbulo principal (el circulo de Airy) es íntegramente recogido en el área del foto-sensor, y los lóbulos segundo y tercero (anillos de Airy segundo y tercero) inciden sobre una zona opaca sin foto-sensores.
Figura 35. Vista transversal de la figura 34, donde se observa (de abajo a arriba) el sustrato de foto-sensores (1), los fotosensores (2), los filtros de colores verde (6) y rojo (7) y las microlentes de píxel (3). Los filtros de colores, en el área del sustrato en la que no hay foto- sensores, están situados sobre una capa metálica (utilizada para polarización y/o lectura) o de cualquier otro material opaco. Se muestra la magnitud de la irradiancia de los dos círculos de Airy verde y rojo contenidos íntegramente en el área de foto-sensores.
Figura 36. Patrón Yotsuba, más sensible al ruido inter-píxel que el patrón Bayer, ya que hay más píxeles del mismo color en diagonal interfiriéndose entre ellos.
Figura 37. Con el objetivo de aumentar la densidad de píxeles por unidad de área se ha aceptado que el segundo y tercer lóbulos de irradiancia puedan interferir al píxel vecino.
Figura 38. Con el objetivo de aumentar más la densidad de píxeles por unidad de área se ha llegado incluso a aceptar que se sitúen los picos de Airy en los ceros del píxel vecino, aceptando que no toda la energía del lóbulo principal va a ser utilizada por los sensores, la interferencia entre píxeles de diferentes colores es minimizada por el filtrado de colores.
Figura 39. Los píxeles más críticos en cuanto a ruido inter-píxel son los del mismo color (verde en un patrón Bayer) y adyacentes en diagonal, ya que su interferencia no se puede filtrar.
Figura 40. La distancia mínima entre píxeles contiguos del mismo color vendrá fijada por la relación señal/ruido máxima aceptable para la aplicación, que se deteriorará drásticamente en cuanto el primer lóbulo de Airy de un píxel comience a interferir al primer lóbulo de Airy de un píxel adyacente del mismo color (los dos verdes en un patrón Bayer).
Figura 41. La distancia mínima entre píxeles contiguos del mismo color vendrá fijada por la relación señal/ruido máxima aceptable para la aplicación, que se deteriorará drásticamente en cuanto el primer lóbulo de Airy de un píxel comience a interferir al primer lóbulo de Airy de un píxel adyacente del mismo color (los dos verdes en un patrón Bayer), lo que se puede minimizar mediante geometrías especiales para los foto-sensores de píxeles del mismo color adyacentes, en las que los vértices de los cuadrados de los foto-sensores se alejan del píxel vecino no construyendo área activa de foto-sensor en zonas próximas al píxel vecino.
Referencias.
1. V. G. Veselago (1968 ( ussian text 1967)). . Sov. Phys. Usp. 10 (4): 509-14. Bibcode:
1968SvPhU.10.509V. doi: 10.1070/PU 1968v010n04ABEH003699
2. Negative Refraction at Visible Frequencies, Henry J. Lezec et al., Science 316, 430 (2007); DOI: 10.1126/science. ll39266.

Claims

Reivindicaciones
Las implementaciones descritas en las figuras, en los ejemplos de utilización y en la descripción de las invenciones, son tan sólo ejemplos de implementación, que de ninguna manera se deben interpretar como limitaciones o implementaciones únicas. Se describen varias invenciones, y la información expuesta describe varias combinaciones de las mismas: entre ellas y con varias implementaciones del estado del arte; sin embargo no se han descrito todas las posibles permutaciones de todas las invenciones expuestas con todas las implementaciones del estado del arte, ya que la lista se haría innecesariamente larga. Dichas permutaciones, adaptadas al ámbito de las invenciones expuestas, serían evidentes para un experto en la materia. El alcance de la patente debe ser interpretado en base a las reivindicaciones que siguen, interpretadas incluyendo las posibles permutaciones, alteraciones y equivalencias anteriormente referidas bajo el verdadero espíritu y ámbito de la invención:
1. Sensor plenóptico que integra monolíticamente los siguientes elementos:
Sustrato con foto-sensores;
Capa (o capas) de material(es) de bajo índice de refracción situado(as) sobre dicho sustrato de foto-sensores, cuyo espesor depende de los algoritmos plenópticos utilizados, y puede adoptar desde valores próximos a la longitud focal de las lentes plenópticas (incluso ligeramente superiores e inferiores) hasta valores cercanos a cero; Lentes plenópticas, construidas con un material de alto índice de refracción y situadas sobre el material de bajo índice de refracción de la capa anteriormente citada.
2. Sensor como el descrito en la reivindicación 1 en el que las capas de bajo índice de refracción no aparecen, la longitud de dicha capa es cero, apareciendo tan sólo las micro-lentes de píxel y, en un material de distinto índice de refracción, las micro-lentes plenópticas.
3. Sensor plenóptico como el descrito en las reivindicaciones 1 y/o 2 en el que los materiales ópticos de varios índices de refracción se construyen sobre un sustrato CMOS, CCD o cualquier otra tecnología de foto-sensores pasada, presente o futura.
4. Sensor plenóptico como el descrito en la reivindicaciones 1 y/o 2 en el que las capas ópticas se construyen sobre el sustrato de foto-sensores utilizando técnicas normalmente utilizadas para el proceso de semiconductores: procesado por obleas, deposición de diversas capas de materiales utilizando técnicas bien conocidas en el estado del arte (CVD, LPCVD, PECVD, HIPCVD u otros métodos de deposición de materiales, etc.,...), apilamiento de sándwiches de obleas ópticas y/o electrónicas, utilización de separadores, foto-litografía, utilización de materiales foto-resistivos positivos o negativos (sacrificables o no), ataques químicos con diversos disolventes, ataques con plasma o cualquier otro ataque conocido en el estado del arte, dopado de materiales ópticos o electrónicos con componentes que les confieren ciertas propiedades, tratamientos térmicos, curado mediante rayos ultravioleta o curado térmico, empaquetado de circuitos/sensores con diversos encapsulados, por ejemplo BGA (Ball Grid Array) o cualquier otro proceso o método, presente o futuro utilizado en fabricación microelectrónica y/o aplicable a la fabricación de óptica miniaturizada, como por ejemplo la replicación o solidificación de polímeros líquidos bajo la
37
HOJA DE REEMPLAZO (REGLA 26) exposición a luz ultravioleta o bajo tratamiento térmico, etc., etc.
Sensor como el descrito en la reivindicación 1 y/o 2 al que entre cada foto-sensor y la capa de bajo índice de refracción mencionada en la reivindicación 1, se han añadido una micro-lente de pixel con un índice de refracción más alto que la capa de bajo índice de refracción mencionada.
Sensores como los descritos en las reivindicaciones 1 a 5, a los que se han añadido filtros de colores, bien sobre cada foto-sensor, sobre cada micro-lente plenóptica (y opcionalmente también sobre los foto-sensores situados bajo dichas micro-lentes), bien construidos en materiales de color que constituyen las micro-lentes plenópticas (y opcionalmente también sobre los foto-sensores bajo dichas micro-lentes), bien construidos en los materiales de color que constituyen las micro-lentes de píxel, o bien basados en combinaciones entre las anteriores. 7. Sensores como los expuestos en las reivindicaciones 1 a 6 a los que se han añadido filtros de infrarrojo o infrarrojo próximo, o bien se han construido como parte de los filtros de colores.
8. Sensores como los expuestos en las reivindicaciones 1 a 6 en los que los filtros impiden el paso de la luz visible, permitiendo sólo el paso del espectro infrarrojo o cualquier otro espectro de interés para la aplicación.
9. Sensores como los descritos en las reivindicaciones 1 a 8, en los que el área de los foto- sensores y las distancias entre ellos se han diseñado de manera que el foto-sensor tenga un área sustancialmente idéntica al área del lóbulo principal de la distribución de potencia fijada por la óptica del sensor (disco de Airy, o bien "cuadri-circulo" de Airy si se utilizan micro-lentes de píxel de base cuadrada), y el lóbulo secundario (primer anillo de Airy, o "cuadri-anillo" de Airy para lentes de píxel de base cuadrada) ilumine el área opaca entre foto-sensores adyacentes. Ello independientemente de la forma geométrica de las micro-lentes (que pudieran por ejemplo ser hexagonales) o de los pixeles (que pudieran ser por ejemplo triangulares, dando lugar entonces a trian-circulos de Airy).
10. Sensores como los descritos en las reivindicaciones 1 a 8 en los que las distancias entre foto-sensores adyacentes se han diseñado de manera que el pico de potencia del lóbulo principal de luz destinada a un píxel coincida con el cero de potencia de los pixeles adyacentes; el área activa de los foto-sensores se ha diseñado dependiendo de la cantidad de ruido aceptable entre pixeles adyacentes y la relación señal/ruido aceptable para la aplicación del sensor.
11. Sensores como los descritos en las reivindicaciones 1 a 8, con áreas de foto-sensores y densidades de foto-sensores por unidad de área (medidas por las distancias entre foto- sensores) comprendidas entre: por encima de las descritas en la reivindicación 9 y ligeramente por debajo de las descritas en la reivindicación 10.
12. Sensores como los descritos en las reivindicaciones 9, 10 y 11 donde la forma geométrica del área activa de los foto-sensores situados en pixeles del mismo color adyacentes en diagonal (verdes en el patrón Bayer, o cualquiera de ellos en el patrón Yotsuba), en lugar de haber sido diseñada con forma cuadrada, se ha modificado en las zonas más próximas al sensor del mismo color situado adyacentemente en diagonal, con el objetivo de alejar el área activa del foto-sensor de la luz del mismo color procedente de las micro-lentes del foto-sensor adyacente, cualquiera que sea la forma final del área activa del foto-sensor (en lugar de un cuadrado).
38
HOJA DE REEMPLAZO (REGLA 26)
13. Sensores como los descritos en la reivindicación 12 en el que la forma cuadrada del foto-sensor ha sido modificada achatando los vértices del cuadrado más próximos al sensor del mismo color merced a la introducción de un trazo vertical que aleja el área activa del foto-sensor análogo del mismo color situado en diagonal, quedando el área activa como un hexágono (cuadrado modificado con dos lados adicionales en dos de sus vértices opuestos). Dicho principio sería aplicable también a foto-sensores con cualquier otra forma geométrica (por ejemplo triángulos).
14. Sensores como los descritos en la reivindicación 12 en los que el área activa de celda foto-sensitiva ha reducido las dimensiones del cuadrado en su vértice merced a la introducción de un triángulo (de zona no foto-sensitiva o zona no activa) que penetra desde el antiguo vértice del cuadrado hacia la zona central del cuadrado. Dicho principio sería aplicable también a foto-sensores con cualquier otra forma geométrica (por ejemplo triángulos).
15. Sensores como los descritos en la reivindicación 12 en los que el área ausente de celda foto-sensitiva (zona no activa) ha reducido las dimensiones del cuadrado en su vértice merced a la introducción de un "triángulo en escalera" (de zona no foto-sensitiva o zona activa) que penetra desde el antiguo vértice del cuadrado hacia la zona central del cuadrado, estando dicho triangulo construido por líneas verticales, horizontales, a 45 grados o con cualquier otra geometría permitida por las reglas de diseño de la tecnología del foto-sensor.
16. Sensores como los descritos en las reivindicaciones 1 a 15 (excepto en la reivindicación 2) en los que el material de bajo índice de refracción referido en la reivindicación 1 (situado sobre el sustrato de foto-sensores) o referido en la reivindicación 5 (situado sobre las micro-lentes de píxel y éstas sobre el sustrato de foto-sensores) es un meta- material o un material con un índice de refracción menor que uno, con el objetivo de reducir la distancia entre las micro-lentes plenópticas y el sustrato, o bien la distancia entre las micro-lentes plenópticas y las micro-lentes de píxel.
17. Sensores como los expuestos en las reivindicaciones 1 a 16 sobre los que se han añadido sucesivamente capas de bajo índice de refracción (formando espacios de bajo índice de refracción entre diversas lentes) y capas de alto índice de refracción (formando lentes), repitiendo el proceso varias veces hasta formar un micro-objetivo compuesto por una variedad de lentes de cualquier forma (biconvexas, bicóncavas, cóncavo-convexas, convexo-cóncavas, plano-cóncavas, plano-convexas, cóncavo-planas, convexo-planas, arrays de micro-lentes, y en general cualquier estructura utilizable en el diseño de lentes de gran tamaño tal como meniscos cóncavos, meniscos convexos o cualquier otra estructura extrapolada a las pequeñas dimensiones utilizadas con procesos de producción ópticos habitualmente utilizados en microelectrónica y brevemente descritos en la reivindicación 3), independientemente del orden de las capas de lentes y/o microlentes.
18. Sensores como los expuestos en la reivindicación 17 en los que el material de bajo índice de refracción es un meta-material o un material con un índice de refracción inferior a uno.
19. Sensores como los descritos en las reivindicaciones 1 a 18 en los que las micro-lentes plenópticas se han diseñado con perfiles paulatinamente más asimétricos a medida que se sitúan a mayores distancias del centro del "array plenóptico" con el objetivo de mejorar la eficiencia en las áreas más alejadas del centro del foto-sensor.
20. Sensores como los descritos en las reivindicaciones 1 a 18 en los que las micro-lentes plenópticas se han diseñado con distancias al sustrato (o a las micro-lentes de píxel)
39
HOJA DE REEMPLAZO (REGLA 26) paulatinamente más reducidas a medida que se sitúan a mayores distancias del centro del "array plenoptico" con el objetivo de mejorar la eficiencia en las áreas más alejadas del centro del foto-sensor, construyéndose todas las micro-lentes ligeramente más inclinadas a medida que nos alejamos del centro del array plenoptico, tan solo la (o las) micro-lente(s) en el centro del array es (son) perpendicular(es), o cuasi perpendiculares, al eje óptico.
21. Sensores como los descritos en las reivindicaciones 1 a 18 en los que las distancias entre foto-sensores y/o las áreas activas de los foto-sensores y/o la geometría del área activa de los foto-sensores son diferentes en el centro y en la periferia del foto-sensor, cambiando gradualmente desde su centro hasta su periferia con el objetivo de mejorar la eficiencia en las áreas más alejadas del centro del foto-sensor.
22. Sensores como los descritos en las reivindicaciones 1 a 18 en los que con el objetivo de mejorar la eficiencia en las áreas más alejadas del centro del foto-sensor se toman simultáneamente dos o más de las medidas explicadas en las reivindicaciones 19, 20 y 21, con cualquier combinación(es) y/o permutación(es) entre ellas.
23. Sensores como los descritos en las reivindicaciones 1 a 22 en los que sobre alguna o varias de las capas ópticas y/o alguna o varias de las lentes se ha(n) depositado capa(s) de revestimiento anti-reflexivo.
24. Método de fabricación de sensores plenópticos como los descritos en las reivindicaciones 1 a 23 en los que las capas ópticas se construyen sobre el sustrato de foto-sensores utilizando técnicas normalmente utilizadas para el proceso de semiconductores: procesado por obleas, deposición de diversas capas de materiales utilizando técnicas bien conocidas en el estado del arte (CVD, LPCVD, PECVD, HIPCVD u otros métodos de deposición de materiales, etc,...), apilamiento de sándwiches de obleas ópticas y/o electrónicas, utilización de separadores, fotolitografía, utilización de materiales foto-resistivos positivos o negativos (sacrificables o no), ataques químicos con diversos disolventes, ataques con plasma, dopado de materiales ópticos o electrónicos con componentes que les confieren ciertas propiedades, tratamientos térmicos, curado mediante rayos ultravioleta o curado térmico, empaquetado de circuitos/sensores con diversos encapsulados, por ejemplo
BGA (Ball Grid Array) o cualquier otro, o cualquier otro proceso o método, presente o futuro utilizado en fabricación microelectrónica y/o aplicable a la fabricación de óptica miniaturizada, como por ejemplo la solidificación de polímeros líquidos bajo la exposición a luz ultravioleta o bajo tratamiento térmico, etc., etc.
25. Sensores como los descritos en las reivindicaciones 1 a 24 que incorporan:
Zooms micro-mecánicos, en alguna(s) de las lentes del sándwich óptico; ó
Zooms estáticos en los alguna(s) de las lentes del sándwich óptico, que cambia(n) su(s) distancia(s) focal(es) bajo el control de un parámetro exterior (un voltaje, una corriente u otro parámetro); ó
Combinación de zooms micro-mecánicos y estáticos controlables mediante parámetros exteriores.
26. Sensores como los descritos en las reivindicaciones 1 a 24 en los que no existen lentes plenopticas, aplicándose el resto de las invenciones (como por ejemplo la utilización de meta-materiales o materiales con índice de refracción menor que uno) a sensores convencionales.
40
HOJA DE REEMPLAZO (REGLA 26)
PCT/ES2013/070855 2013-05-21 2013-12-07 Integración monolítica de lentes plenópticas sobre sustratos fotosensores WO2014188018A1 (es)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP13885219.9A EP3007228B1 (en) 2013-05-21 2013-12-07 Monolithic integration of plenoptic lenses on photosensor substrates
CN201380078180.9A CN105900238B (zh) 2013-05-21 2013-12-07 全光透镜在光传感器衬底上的单片集成
EP21155638.6A EP3916786A3 (en) 2013-05-21 2013-12-07 Monolithic integration of plenoptic lenses on photosensor substrates
US14/892,854 US9647150B2 (en) 2013-05-21 2013-12-07 Monolithic integration of plenoptic lenses on photosensor substrates
CN201910229720.8A CN110061018B (zh) 2013-05-21 2013-12-07 全光透镜在光传感器衬底上的单片集成
ES13885219T ES2872927T3 (es) 2013-05-21 2013-12-07 Integración monolítica de lentes plenópticas sobre sustratos fotosensores
JP2016514448A JP6480919B2 (ja) 2013-05-21 2013-12-07 プレノプティックセンサとその製造方法およびプレノプティックセンサを有する配置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201330727 2013-05-21
ESP201330727 2013-05-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
EP21155638.6A Previously-Filed-Application EP3916786A3 (en) 2013-05-21 2013-12-07 Monolithic integration of plenoptic lenses on photosensor substrates

Publications (1)

Publication Number Publication Date
WO2014188018A1 true WO2014188018A1 (es) 2014-11-27

Family

ID=51932987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2013/070855 WO2014188018A1 (es) 2013-05-21 2013-12-07 Integración monolítica de lentes plenópticas sobre sustratos fotosensores

Country Status (6)

Country Link
US (1) US9647150B2 (es)
EP (2) EP3916786A3 (es)
JP (2) JP6480919B2 (es)
CN (2) CN105900238B (es)
ES (1) ES2872927T3 (es)
WO (1) WO2014188018A1 (es)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106821361A (zh) * 2017-03-31 2017-06-13 江南大学 一种使简易光电心率传感器测量结果精准化的聚光辅助装置
RU2790049C1 (ru) * 2022-02-28 2023-02-14 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ анизотропной регистрации светового поля и устройство для его реализации
WO2024081258A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
ES2872927T3 (es) * 2013-05-21 2021-11-03 Photonic Sensors & Algorithms S L Integración monolítica de lentes plenópticas sobre sustratos fotosensores
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
WO2015191001A1 (en) * 2014-06-10 2015-12-17 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules including hybrid arrangements of beam shaping elements, and imaging devices incorporating the same
TWI735232B (zh) * 2014-07-23 2021-08-01 新加坡商海特根微光學公司 光發射器或光偵測器模組及製造一光發射器或光偵測器模組之方法
CN105428376A (zh) * 2014-09-12 2016-03-23 芯视达系统公司 具有可见光及紫外光探测功能的单芯片影像传感器及其探测方法
CN105570819A (zh) * 2014-10-15 2016-05-11 富泰华工业（深圳）有限公司 背光源
EP3660902A1 (en) * 2014-11-19 2020-06-03 Ams Ag Semiconductor device comprising an aperture array
CN204302525U (zh) * 2015-01-04 2015-04-29 京东方光科技有限公司 导光板、背光源及显示装置
US9714876B2 (en) * 2015-03-26 2017-07-25 Sensata Technologies, Inc. Semiconductor strain gauge
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US20170059305A1 (en) * 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US11698510B2 (en) 2015-04-22 2023-07-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US9946051B2 (en) 2015-04-22 2018-04-17 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US9953841B2 (en) * 2015-05-08 2018-04-24 Macronix International Co., Ltd. Semiconductor device and method of fabricating the same
US9865642B2 (en) * 2015-06-05 2018-01-09 Omnivision Technologies, Inc. RGB-IR photosensor with nonuniform buried P-well depth profile for reduced cross talk and enhanced infrared sensitivity
JP2017022200A (ja) * 2015-07-08 2017-01-26 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、および電子機器
EP3326203B1 (en) * 2015-07-24 2024-03-06 Artilux, Inc. Multi-wafer based light absorption apparatus and applications thereof
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10644187B2 (en) 2015-07-24 2020-05-05 Artilux, Inc. Multi-wafer based light absorption apparatus and applications thereof
WO2017023211A1 (en) 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Optical modules including customizable spacers for focal length adjustment and/or reduction of tilt, and fabrication of the optical modules
US10154193B1 (en) * 2016-03-08 2018-12-11 National Technology & Engineering Solutions Of Sandia, Llc Noncircular aperture imaging system
US10056417B2 (en) * 2016-03-10 2018-08-21 Visera Technologies Company Limited Image-sensor structures
CN107290099B (zh) 2016-04-11 2021-06-08 森萨塔科技公司 压力传感器、用于压力传感器的插塞件和制造插塞件的方法
EP3236226B1 (en) 2016-04-20 2019-07-24 Sensata Technologies, Inc. Method of manufacturing a pressure sensor
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
JP7298809B2 (ja) * 2016-07-15 2023-06-27 ライト フィールド ラボ、インコーポレイテッド ２次元、ライトフィールドおよびホログラフィックリレーによるエネルギー伝搬および横方向アンダーソン局在
CN109643513B (zh) * 2016-08-31 2021-06-04 国立研究开发法人产业技术综合研究所 显示装置
EP3293959A1 (en) * 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US10890491B2 (en) * 2016-10-25 2021-01-12 Trinamix Gmbh Optical detector for an optical detection
WO2018091463A1 (en) 2016-11-16 2018-05-24 Philips Lighting Holding B.V. A receiver, method, terminal device, light transmissive structure and system for visible light communication
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
US10545064B2 (en) 2017-05-04 2020-01-28 Sensata Technologies, Inc. Integrated pressure and temperature sensor
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10323998B2 (en) 2017-06-30 2019-06-18 Sensata Technologies, Inc. Fluid pressure sensor
US10724907B2 (en) 2017-07-12 2020-07-28 Sensata Technologies, Inc. Pressure sensor element with glass barrier material configured for increased capacitive response
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10557770B2 (en) 2017-09-14 2020-02-11 Sensata Technologies, Inc. Pressure sensor with improved strain gauge
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
US11692813B2 (en) * 2017-12-27 2023-07-04 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules and methods for operating the same
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10979699B2 (en) * 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
WO2019174756A1 (en) 2018-03-15 2019-09-19 Photonic Sensors & Algorithms, S.L. Plenoptic camera for mobile devices
CN108632506A (zh) * 2018-03-21 2018-10-09 中国科学院上海微系统与信息技术研究所 一种微透镜阵列成像系统
US11971485B2 (en) 2018-06-19 2024-04-30 Analog Devices, Inc. Metasurface array for lidar systems
KR102650669B1 (ko) * 2018-07-19 2024-03-26 삼성디스플레이 주식회사 표시 장치
US11114483B2 (en) * 2018-08-10 2021-09-07 Omnivision Technologies, Inc. Cavityless chip-scale image-sensor package
EP3620829B1 (de) * 2018-09-07 2022-01-19 Sick Ag Lichtgitter
JP7237506B2 (ja) * 2018-10-02 2023-03-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN111325072B (zh) * 2018-12-17 2023-05-09 上海箩箕技术有限公司 光学传感器模组及其形成方法
JP2020115515A (ja) * 2019-01-17 2020-07-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
WO2020148860A1 (ja) * 2019-01-17 2020-07-23 オリンパス株式会社 内視鏡用撮像装置の製造方法、内視鏡用撮像装置、および、内視鏡
JP2022535238A (ja) * 2019-06-06 2022-08-05 アプライド マテリアルズ インコーポレイテッド 撮像システム及び合成画像を生成する方法
US11181667B2 (en) 2019-07-15 2021-11-23 Facebook Technologies, Llc Optical module comprising a polymer layer with a lens portion and an extension portion and spacer stack
WO2021021671A1 (en) * 2019-07-26 2021-02-04 Metalenz, Inc. Aperture-metasurface and hybrid refractive-metasurface imaging systems
CN112490384A (zh) * 2019-09-11 2021-03-12 星宸光电股份有限公司 封装结构
DE102020202784A1 (de) * 2019-09-18 2021-03-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Herstellen eines Kameramoduls
JP2022550240A (ja) * 2019-10-01 2022-12-01 ジェイド バード ディスプレイ（シャンハイ） リミテッド 一体化された微小レンズアレイを有するディスプレイパネル用のシステム及び製造方法
CN112953633A (zh) * 2019-12-11 2021-06-11 Oppo广东移动通信有限公司 电子设备的通信装置及电子设备
CA3164936A1 (en) * 2019-12-17 2021-06-24 Johnson & Johnson Surgical Vision, Inc. Fluid level monitoring system for phacoemulsification surgical applications
US20210187503A1 (en) * 2019-12-19 2021-06-24 Personal Genomics Taiwan, Inc. Apparatus and system for single-molecule nucleic acids detection
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11843221B2 (en) * 2020-03-30 2023-12-12 Namuga, Co., Ltd. Light source module for emitting high density beam and method for controlling the same
EP4162538A1 (en) 2020-06-03 2023-04-12 Jade Bird Display (Shanghai) Limited Systems and methods for multi-color led pixel unit with horizontal light emission
KR20220031161A (ko) * 2020-09-04 2022-03-11 삼성전자주식회사 반도체 패키지
US20220086321A1 (en) * 2020-09-15 2022-03-17 Micron Technology, Inc. Reduced diffraction micro lens imaging
US11543654B2 (en) * 2020-09-16 2023-01-03 Aac Optics Solutions Pte. Ltd. Lens module and system for producing image having lens module
TWI761197B (zh) * 2021-04-29 2022-04-11 晶盛材料股份有限公司 紫外光陣列模組
CN114142921B (zh) * 2021-12-09 2023-02-28 中山水木光华电子信息科技有限公司 一种基于不同中心波长光纤编码的全光存储系统及方法
US11832001B2 (en) * 2021-12-20 2023-11-28 Visera Technologies Company Limited Image processing method and image processing system
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004027880A2 (en) 2002-09-17 2004-04-01 Koninklijke Philips Electronics N.V. Camera device, method of manufacturing a camera device, wafer scale package
US20070025074A1 (en) 2004-05-19 2007-02-01 Masahiro Sone Disk array device
WO2008020899A2 (en) * 2006-04-17 2008-02-21 Cdm Optics, Inc. Arrayed imaging systems and associated methods
US20090041448A1 (en) 2007-08-06 2009-02-12 Georgiev Todor G Method and Apparatus for Radiance Capture by Multiplexing in the Frequency Domain
US20090134483A1 (en) 2007-11-23 2009-05-28 Jui-Ping Weng Electronic assembly for image sensor device
US20100020187A1 (en) 2006-04-04 2010-01-28 Georgiev Todor G Plenoptic camera
US20100277627A1 (en) * 2007-09-24 2010-11-04 Duparre Jacques Image Sensor
US20110169994A1 (en) 2009-10-19 2011-07-14 Pixar Super light-field lens
US20110228142A1 (en) 2009-10-14 2011-09-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, image processing device and method for optical imaging
US20110292271A1 (en) 2010-05-27 2011-12-01 Tzy-Ying Lin Camera module and fabrication method thereof
US20120012959A1 (en) 2010-07-16 2012-01-19 Visera Technologies Company Limited Image sensors and fabrication method thereof
US20120050589A1 (en) 2010-08-25 2012-03-01 Kabushiki Kaisha Toshiba Solid-state imaging device
US20120218448A1 (en) 2011-02-25 2012-08-30 Kabushiki Kaisha Toshiba Solid-state imaging device and portable information terminal
GB2488905A (en) 2011-03-10 2012-09-12 Canon Kk Image pickup apparatus, such as plenoptic camera, utilizing lens array
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US20120300097A1 (en) 2004-10-01 2012-11-29 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US20130321581A1 (en) * 2012-06-01 2013-12-05 Ostendo Technologies, Inc. Spatio-Temporal Light Field Cameras

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2742185B2 (ja) * 1992-10-01 1998-04-22 松下電子工業株式会社 固体撮像装置
JPH07240361A (ja) * 1994-03-01 1995-09-12 Fujitsu Ltd レジストパターン形成方法
US5910940A (en) * 1996-10-08 1999-06-08 Polaroid Corporation Storage medium having a layer of micro-optical lenses each lens generating an evanescent field
EP1272873A2 (en) * 2000-03-17 2003-01-08 Zograph, LLC High acuity lens system
JP2004200360A (ja) * 2002-12-18 2004-07-15 Toppan Printing Co Ltd 固体撮像素子及びその製造方法
JP2004126511A (ja) * 2002-08-01 2004-04-22 Olympus Corp 光学要素ユニットおよび光学系
US6737719B1 (en) * 2002-10-25 2004-05-18 Omnivision International Holding Ltd Image sensor having combination color filter and concave-shaped micro-lenses
JP2004336228A (ja) * 2003-05-02 2004-11-25 Alps Electric Co Ltd レンズアレイ装置
JP4419658B2 (ja) * 2004-04-16 2010-02-24 ソニー株式会社 固体撮像装置
US6980379B1 (en) * 2004-07-19 2005-12-27 Microalign Technologies, Inc. Flat wide-angle objective
US7106529B2 (en) * 2004-08-24 2006-09-12 Microalign Technologies, Inc. Flat wide-angle lens system
EP1624493A3 (fr) * 2004-07-23 2006-09-13 Stmicroelectronics Sa Procédé de fabrication de module optique pour boîtier semiconducteur à capteur optique
JP2006066596A (ja) * 2004-08-26 2006-03-09 Fuji Photo Film Co Ltd 撮像素子、着色マイクロレンズアレイの製造方法、および画像撮影装置
KR100693927B1 (ko) * 2005-02-03 2007-03-12 삼성전자주식회사 마이크로 렌즈 제조방법, 마이크로 렌즈 어레이 제조방법및 이미지 센서 제조방법
KR100870820B1 (ko) * 2005-12-29 2008-11-27 매그나칩 반도체 유한회사 이미지 센서 및 그의 제조방법
US7408718B2 (en) * 2006-09-07 2008-08-05 Avago Technologies General Pte Ltd Lens array imaging with cross-talk inhibiting optical stop structure
JP4252098B2 (ja) * 2006-09-20 2009-04-08 三洋電機株式会社 光検出装置
KR100821480B1 (ko) * 2006-12-22 2008-04-11 동부일렉트로닉스 주식회사 이미지 센서 및 그의 제조방법
US8525917B2 (en) * 2007-08-06 2013-09-03 Canon Kabushiki Kaisha Image sensing apparatus with plural focus detection pixel groups
TWI455326B (zh) * 2007-09-13 2014-10-01 Omnivision Tech Inc 透射式偵測器、使用該偵測器之系統及其方法
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US20110122467A1 (en) * 2008-07-21 2011-05-26 Gerald Futterer Light modulating device
JP2010161180A (ja) * 2009-01-07 2010-07-22 Sony Corp 固体撮像装置及びその製造方法、カメラ
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
JP2010181485A (ja) * 2009-02-03 2010-08-19 Nikon Corp 撮像装置および撮像素子
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8728719B2 (en) * 2009-08-19 2014-05-20 Lawrence Livermore National Security, Llc Diffractive laser beam homogenizer including a photo-active material and method of fabricating the same
US8314469B2 (en) * 2009-09-04 2012-11-20 United Microelectronics Corp. Image sensor structure with different pitches or shapes of microlenses
JP2011084060A (ja) * 2009-09-17 2011-04-28 Fujifilm Corp レンズアレイのマスターモデル及びその製造方法
US8300294B2 (en) * 2009-09-18 2012-10-30 Toyota Motor Engineering & Manufacturing North America, Inc. Planar gradient index optical metamaterials
JP2012019113A (ja) * 2010-07-08 2012-01-26 Panasonic Corp 固体撮像装置
JP2012038768A (ja) * 2010-08-03 2012-02-23 Fujifilm Corp 固体撮像素子及び撮像装置
JP5741012B2 (ja) * 2011-01-26 2015-07-01 ソニー株式会社 固体撮像装置の製造方法
US9030550B2 (en) * 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
JP2013012518A (ja) * 2011-06-28 2013-01-17 Toppan Printing Co Ltd 固体撮像素子
WO2013003276A1 (en) * 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
US9184199B2 (en) * 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US8593564B2 (en) * 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
JP6064040B2 (ja) * 2012-05-09 2017-01-18 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
ES2872927T3 (es) * 2013-05-21 2021-11-03 Photonic Sensors & Algorithms S L Integración monolítica de lentes plenópticas sobre sustratos fotosensores

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004027880A2 (en) 2002-09-17 2004-04-01 Koninklijke Philips Electronics N.V. Camera device, method of manufacturing a camera device, wafer scale package
US20070025074A1 (en) 2004-05-19 2007-02-01 Masahiro Sone Disk array device
US20120300097A1 (en) 2004-10-01 2012-11-29 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US20100020187A1 (en) 2006-04-04 2010-01-28 Georgiev Todor G Plenoptic camera
WO2008020899A2 (en) * 2006-04-17 2008-02-21 Cdm Optics, Inc. Arrayed imaging systems and associated methods
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US20090041448A1 (en) 2007-08-06 2009-02-12 Georgiev Todor G Method and Apparatus for Radiance Capture by Multiplexing in the Frequency Domain
US20100277627A1 (en) * 2007-09-24 2010-11-04 Duparre Jacques Image Sensor
US20090134483A1 (en) 2007-11-23 2009-05-28 Jui-Ping Weng Electronic assembly for image sensor device
US20110228142A1 (en) 2009-10-14 2011-09-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, image processing device and method for optical imaging
US20110169994A1 (en) 2009-10-19 2011-07-14 Pixar Super light-field lens
US20110292271A1 (en) 2010-05-27 2011-12-01 Tzy-Ying Lin Camera module and fabrication method thereof
US20120012959A1 (en) 2010-07-16 2012-01-19 Visera Technologies Company Limited Image sensors and fabrication method thereof
US20120050589A1 (en) 2010-08-25 2012-03-01 Kabushiki Kaisha Toshiba Solid-state imaging device
US20120218448A1 (en) 2011-02-25 2012-08-30 Kabushiki Kaisha Toshiba Solid-state imaging device and portable information terminal
GB2488905A (en) 2011-03-10 2012-09-12 Canon Kk Image pickup apparatus, such as plenoptic camera, utilizing lens array
US20130321581A1 (en) * 2012-06-01 2013-12-05 Ostendo Technologies, Inc. Spatio-Temporal Light Field Cameras

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HENRY J. LEZEC ET AL.: "Negative Refraction at Visible Frequencies", SCIENCE, vol. 316, 2007, pages 430
See also references of EP3007228A4
V. G. VESELAGO, SOV. PHYS. USP., vol. 10, no. 4, 1968, pages 509 - 514

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106821361A (zh) * 2017-03-31 2017-06-13 江南大学 一种使简易光电心率传感器测量结果精准化的聚光辅助装置
RU2790049C1 (ru) * 2022-02-28 2023-02-14 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ анизотропной регистрации светового поля и устройство для его реализации
WO2024081258A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods

Also Published As

Publication number Publication date
JP2019110313A (ja) 2019-07-04
JP7007309B2 (ja) 2022-01-24
EP3007228B1 (en) 2021-03-17
EP3007228A4 (en) 2016-07-27
CN110061018B (zh) 2023-11-28
US20160133762A1 (en) 2016-05-12
CN105900238A (zh) 2016-08-24
EP3916786A3 (en) 2022-03-09
EP3916786A2 (en) 2021-12-01
ES2872927T3 (es) 2021-11-03
CN110061018A (zh) 2019-07-26
US9647150B2 (en) 2017-05-09
CN105900238B (zh) 2019-06-11
EP3007228A1 (en) 2016-04-13
JP2016526294A (ja) 2016-09-01
JP6480919B2 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
ES2872927T3 (es) Integración monolítica de lentes plenópticas sobre sustratos fotosensores
US11978752B2 (en) Aperture-metasurface and hybrid refractive-metasurface imaging systems
TWI765237B (zh) 積體化光學指紋感測器及其製造方法
WO2017090437A1 (ja) カメラモジュールおよび電子機器
US10054719B2 (en) Methods for farbricating double-lens structures
JP5507585B2 (ja) 多数のマイクロ光電子デバイスを製造する方法およびマイクロ光電子デバイス
ES2466820T3 (es) Dispositivo de procesamiento de imágenes
US9880391B2 (en) Lens array modules and wafer-level techniques for fabricating the same
US8184195B2 (en) Lens shielding structures for digital image sensors
US7916204B2 (en) Multiple microlens system for image sensors or display
JP2018525684A (ja) 積層レンズ構造体およびその製造方法、並びに電子機器
JP2017032797A (ja) 積層レンズ構造体およびその製造方法、並びに電子機器
TWI393932B (zh) 影像擷取鏡頭
JP2017032800A (ja) レンズ付き基板、積層レンズ構造体及びその製造方法、並びに、電子機器
KR20100067982A (ko) 이미지 센서 및 그 제조 방법
US7659501B2 (en) Image-sensing module of image capture apparatus and manufacturing method thereof
JP2012109302A (ja) 固体撮像装置及びその製造方法
JP2009277885A (ja) 固体撮像素子の製造方法
KR20090052076A (ko) 씨모스 이미지 센서의 제조방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13885219

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013885219

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14892854

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016514448

Country of ref document: JP

Kind code of ref document: A