WO2012019875A1 - Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes - Google Patents

Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes Download PDF

Info

Publication number
WO2012019875A1
WO2012019875A1 PCT/EP2011/062266 EP2011062266W WO2012019875A1 WO 2012019875 A1 WO2012019875 A1 WO 2012019875A1 EP 2011062266 W EP2011062266 W EP 2011062266W WO 2012019875 A1 WO2012019875 A1 WO 2012019875A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixels
imaging
pixel
image sensor
Prior art date
Application number
PCT/EP2011/062266
Other languages
English (en)
French (fr)
Inventor
Alexander Oberdörster
Andreas Brückner
Frank Wippermann
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to JP2013520113A priority Critical patent/JP5649091B2/ja
Priority to KR1020137004041A priority patent/KR101517704B1/ko
Priority to EP11732490.5A priority patent/EP2596642B1/de
Publication of WO2012019875A1 publication Critical patent/WO2012019875A1/de

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/205—Neutral density filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Definitions

  • the present invention relates to an image pickup device and a method for picking up an image.
  • the miniaturization of camera modules and the reduction of their manufacturing costs in many areas e.g. In the field of mobile phone cameras and the field of vehicle technology, an important goal.
  • the module size is proportional to the pixel size in all dimensions. This also applies to the length along the optical axis: smaller pixels reduce the sensor size for a given total number of pixels; a smaller sensor allows a shorter focal length for a given field of view.
  • the minimum extent along the optical axis of a camera module is mainly limited by the focal length of the optical system.
  • Multichannel imaging systems promise - inspired by the compound eyes of insects - advances in both respects, namely miniaturization and cost reduction.
  • the optical system in multichannel imaging systems consists of an array of microlenses.
  • the microimages produced by these microlens arrays are optically or electronically combined into a single image.
  • the focal length of the microlenses of such a multi-channel imaging system is only a fraction of the focal length of a single channel system, thereby reducing the pitch along the optical axis and significantly increasing the depth of field.
  • the optical systems can be designed simply: one lens and few apertures per channel are often sufficient. Since the microlenses have a diameter of the order of hundreds of microns and a peak height in the range of several microns, they can be produced cost-effectively in the wafer assembly and with high precision.
  • an image acquisition device comprises an image sensor with a multiplicity of pixels, which is designed to record one sample per pixel in a receptacle, as well as an optical system for generating an optical image on the image sensor, wherein the optics have a multi-channel optical system for the individual Forming overlapping solid angle ranges includes separate portions of the image sensor.
  • Each pixel of the image sensor is assigned an imaging value, and the imaging values are imaging directions from which the optics images objects onto the respective pixel, or lateral imaging positions in a depth of field that images the optics onto the respective pixel.
  • the image capture device includes an interpolator for interpolating a distribution of the samples of the pixels according to their image values at crossing points of a regular grating extending over the entire distribution of the samples to obtain an array of image values.
  • One finding of the present invention is to have realized that an improved relationship between hardware / manufacturing effort on the one hand and image quality on the other hand can be achieved using multi-channel optics when the samples of the pixels are in accordance with an imaging direction which arranges the optics objects on the respective pixel, or a lateral imaging position in a depth of field that images the optics to the respective pixel, and the distribution of samples of the pixels thus arranged at crossing points of a regular, over the entire distribution of the samples extending grating be interpolated.
  • the processing is thus unified across the entire image so as to avoid transient problems between the subregions.
  • FIG. 1 shows a schematic representation of an image recording device according to an exemplary embodiment of the present application
  • FIG. 2 shows a schematic representation of an image recording device according to a further, somewhat more detailed embodiment of the present application
  • FIG. 3a is a schematic representation of a distribution of the pixels according to their image values according to an exemplary embodiment of the present application, in which the imaging values lateral imaging locations are used in a depth of field of the field
  • 3b shows a schematic illustration of a distribution of the pixels according to an exemplary embodiment of the present application, according to which imaging directions are used as the imaging values along which the optics performs the imaging on the respective pixels
  • 4 shows a sectional view of an arrangement of image sensor and microlens array according to an embodiment
  • 5a and 5b are schematic representations illustrating the fields of view and viewing directions of individual pixels
  • FIG. 6 is a perspective view of viewpoints of the pixels within a partial area including distortion according to an embodiment
  • FIG. 7 shows a schematic view of a pixel cloud and a regular grating laid over it according to an exemplary embodiment
  • Fig. 8 is a schematic drawing of two recording situation to illustrate the resulting error in falsely ignoring the parallax effect.
  • Fig. 1 shows an image pickup device according to an embodiment of the present application.
  • the image pickup device of FIG. 1 is indicated generally by the reference numeral 10 and comprises an image sensor 12 having a plurality of pixels, which are shown by way of example only in FIG. 2, and an optical system 14 for producing an optical image on the image sensor 12, wherein the Optics multi-channel optics for individually mapping overlapping solid angle ranges 16i, 16 2 and 16 3 on separate portions of the image sensor includes, which latter are also indicated only in Fig. 2.
  • the image capture device 10 of FIG. 1 further comprises an interpolation lator 18 and - optionally - other components, such as an assigner 19 and a user input interface and / or a rangefinder 20.
  • the image sensor 12 is connected to the interpolator 18, and is designed to record in a recording a sample, such as a brightness value, per pixel and output to the interpolator 18.
  • the optional input interface and / or the optional range finder 20 are optionally connected to the interpolator 18 via the mapper.
  • the interpolator 18, in the interpolation to be discussed later may consider the distance that the objects of a scene which are located in the total field of view formed by the overlapping solid-angle regions I 6 1 -I 63 and are imaged onto the respective subregions of the image sensor 12.
  • the interpolator 18 outputs the desired image in the form of an array of image values.
  • FIG. 2 shows the same components as shown in FIG. 1, but with an increased level of detail according to an exemplary embodiment of the present application.
  • the optical system 14 has a multi-channel optical system for the individual imaging of overlapping solid angle ranges I 6 1 -I 6 3 on separate partial areas 24i-24 3 and 24 3 of the image sensor 12.
  • the multichannel optics may be a lens array of microlenses 26i-26 3 , each of which is associated with a respective one of the subregions 24 r 24 2 and 24 3 , respectively, about a corresponding channel with a respective field of view or solid angle range 16i-16 2 ang.l6 3 to form.
  • FIGS. 1 the multichannel optics
  • the multi-channel optical system is designed in such a way that the overlapping solid angle ranges I 6 1 -I 63 together cover a total space angle range which is significantly greater than the mutually overlapping solid angle ranges taken alone, such as 4 times greater than each of the overlapping solid angle ranges I 61-I 63.
  • a build height h which substantially corresponds to a distance of the optical system 14 from the image sensor 12 and about the same or is slightly larger than a focal length of the microlenses, to be downsized.
  • the result is namely the overall enlarged total viewing angle, for example by a center distance of the microlenses 26i-26 3 or a mean distance.
  • the vertex of the microlenses 26i-26 3 with respect to a center or repeat distance of the partial areas 24r24 3 of the image sensor 12 is increased.
  • a decoupling of the desired total field of view of the image recording device of the build height h occurs.
  • the height h can be reduced compared to a structure with a single optical system, specifically the larger the number of partial areas. Due to the necessary distance between the lenses or the size of the lenses in relation to the smaller portions, however, the division into individual channels may be limited in reality. For example, a number of the channels is between 4 and 10,000.
  • the pitch of the microlenses 26 r 26 3 is smaller than the mean repetition distance of the subregions 24i-24 3 , in such a way that the solid angle ranges substantially completely overlap.
  • the total space angle range could be so small that it is at most 120% larger than each of the overlapping individual rooms beckon! areas.
  • the image sensor 12 has a plurality of pixels 28.
  • each of the subregions 24r24 3 comprises a plurality of these pixels 28.
  • each subregion 24 comprises [-24 3 32 or more pixels.
  • the image sensor 12 may, for example, be a one-substrate image sensor in which the subregions 24i-24 3 are formed together, with spaces between these subregions 24i.
  • 24 3 can be used to An Kunststoffungsschal- tung parts to accommodate 28 such as sense amplifiers, row and / or column decoder, etc.
  • a respective solid angular region is assigned to 16j-16 3, of course, also to each pixel 28 associated with a respective, of course, of smaller solid angle and thus a LOOK- or imaging direction that is for example centrally of the respective solid angle range of the pixel.
  • All image or viewing angles of the imaging or viewing directions are determined, for example, relative to an optical axis of the optical system 14 or a surface normal of the photosensitive surface of the image sensor 12.
  • points 28 in a plane as shown in Fig. 3b, namely a plane spanned by two axes, one axis 30, the deviation of the imaging direction of the respective pixel ⁇ in a row direction x of the pixels 28 and an axis
  • FIG. 32 shows the angular deviation of the imaging direction with respect to the optical axis in the column direction y perpendicular to the axis x, the latter angle being indicated by ⁇ .
  • Fig. 3b is indicated how the pixels are arranged in the plane thus defined according to their imaging directions.
  • the border 34 surrounds the positions of the pixels 28 of the subarea 24 ⁇ indicated by dots.
  • the pincushion appearance of the border 34 indicates that distortion of the microlens 261 provides, for example, a pincushion distribution of the pixels 28 of the portion 24i in the ( ⁇ , ⁇ ) plane.
  • the pixels 28 of the other subregions 24 - 24 3 are not shown in FIG. 3b, but only their borders 36 and 38, which are the edges of the respective subpixel clouds.
  • Fig. 3b indicates where the pixels of subareas are, which may be positioned adjacent to the subregions 24i-24 3 in the x-direction, for example, and are indicated in Fig. 2 by dashed lines.
  • Fig. 1 shows, for example, a Depth of field surface 40 as a plane extending perpendicular to the optical axis of optics 14, as well as Fig. 2 shows this depth of field surface.
  • microlenses 26] -26 3 images in a very large depth of field, ie within a very large distance range of the optical system 14, sharply on the image sensor 12
  • microlenses 26 26 3 may be positioned at such a distance from the photosensitive surface of the image sensor 12 that this para is either equal to or slightly larger than a focal length of the microlenses 26 26 3 .
  • each image point 28 can now be assigned an imaging direction
  • each image point can also be assigned a lateral imaging position in the transversal depth of field 40, namely that which the optical system 14 has depicts the respective pixel 28. As shown in Fig.
  • the pixels 28 may be arranged according to their lateral imaging position in a plane spanned by a Cartesian coordinate in the direction x and a Cartesian coordinate in the direction y.
  • the positions of the pixels 28 for the subregions 241 are indicated by dots in FIG. 3a, whereas the solid lines globally indicate the position or expansion of the cloud of positions of the pixels of the subregions 24 2 -24 3 and dashed lines indicate a position of the pixels of possible further subregions, which are indicated in FIG. 2 by dashed lines.
  • a pillow-shaped configuration of the peripheral lines also indicates that the individual channel optics of the optical system 14 can cause distortions.
  • the image sensor 12 and the optics 14 are arranged at a fixed distance from one another.
  • a variable adjustment of the gap between image sensor 12 and optics 14 would also be possible to adjust the depth of focus range, but as mentioned above, due to the fact that the depth of field is increased due to the use of the multi-channel optics and the reduced apertures of the microlenses anyway so large that a readjustment is usually not necessary.
  • the image pickup device 10 is designed to take images of objects located at distances where the parallax effects still do not matter, then it may be that the mapping of the imaging directions to the individual pixels shown in FIG. 3b 28 of the sections 24 24 3 is fixed.
  • the allocator 19 would not necessarily be present in this case.
  • mapping could be hard-coded into the program code that implements the function of the interpolator 18, or be hardwired.
  • the mapper 19 could be in the form of a lookup table as a memory.
  • configuration of the allocator 19 as a computing unit that recalculates the imaging directions of the individual pixels 28 for each image.
  • the image capture device 10 of FIG. 1 it would also be possible for the image capture device 10 of FIG. 1 to be configured to receive only objects within a certain near range, such as a near range of approximately one-half meter. In this case, the aforementioned association of FIG. 3a could be fixedly built into the interpolator 18, and the mapper 19 could be missing. Alternatives, as described above with reference to the assignment according to FIG. 3b, would of course also be possible.
  • the assignments according to FIGS. 3b and 3a, after assembly of the image recording device, could be determined, for example, by recording suitable calibration objects. be telt.
  • the determination of the assignment of the imaging direction or lateral imaging position in the depth of field 40 could be determined by calculation based on the design parameters of the image recording device 10 or, in particular, the image sensor 12 of the optical system 14 and their position relative to one another. With both alternatives, the distortions by the optics 14 would be taken into account.
  • the imaging device 10 could be provided for both images in which parallax effects due to the lateral offset between the regions or apertures play a role, as well as for images in which this is not the case.
  • the user input interface 20 could be used by a user to specify to the assigner 19 whether the assignment according to FIG. 3 b, ie for remote recording, or according to FIG. 3 a, ie for close-up is to be performed.
  • a specification by a rangefinder 20 would also be possible, wherein the rangefinder can determine the distance by means of transit time measurement or the like, or by analysis of the information present in the sub-areas themselves, such as correlation. The transition between the assignment according to FIGS.
  • the allocator 19 receives from the input interface / the rangefinder 20 a distance indication of the object to be recorded and, accordingly, the assignment taking into account the parallax Sets by looking up by means of the distance indication or by calculation using the distance indication.
  • the interpolator 18 is now there to generate from the common point cloud of all pixels 28 in the plane of FIG. 3b or FIG. 3a, an array of pixels, ie a regular grid of image values, ie the desired image.
  • the interpolator 18 arranges a regular grating 42 over the union of all individual point clouds of the subregions, ie over the entire individual images with the image points according to image values, and interpolates between the sampled values of the pixels at the positions in the plane according to FIG. 3a or FIG. 3b, namely at the positions of the crossing points of the regular grid 42.
  • the regular grid has more crossing points than nodes, ie more crossing points than pixels 28.
  • the crossing points of the regular grid 42, the ge - wished to contribute to the image array, but should be within the common set of all pixels, otherwise an extrapolation with the associated inaccuracy would be necessary.
  • An example of an interpolation method is provided below.
  • the imaging values can advantageously be present in a scalar accuracy with a smallest unit that is at least 16 times larger than a grid spacing of the regular grid.
  • the interpolator 18 in the space according to FIG. 3 a or 3 b can handle the components occurring there with a first bit accuracy, and based on this the intersections of the grid 42 are at least 16 smallest units away.
  • the interpolation can therefore be performed uniformly for all individual images in one step, which may be reflected, for example, in that only one interpolation is performed per grid point in the overlapping regions of the individual images or single-image point clouds, on which all the individual images that are present in the respective image Overlap area overlap, participate equally.
  • a readjustment or manipulation of the image values is not required.
  • the pixels 28 may have unequal sensitivity behavior. Their sensitivity may differ, for example, spectrally, with regard to the polarization of the incident light or with regard to the (neutral density) sensitivity.
  • the interpolator 18 it would be possible for the interpolator 18 to arrange the pixels of the same sensitivity characteristic as described above in the planes according to FIGS. 3a and 3b, respectively, and individually lay the grating 42 over it in order to arrive at a regular image array separately for this sensitivity characteristic. This procedure would then be performed for all sensitivity characteristics or for the pixels all sensitivity characteristics separated according to sensitivity characteristics.
  • the interpolation of the respective partial distribution of pixels of the same sensitivity characteristic can be improved by also taking into account the pixels of other sensitivity characteristics.
  • the grating 42 can be exactly in the same location for all the sensitivity characteristics in the plane of Figures 3a and 3b, respectively, so that all the color components for a position of the common color image array are exactly the same location. In normal color images with a color image sensor, this is not so because the components of a subpixel cell are scanned laterally at different locations.
  • the individual subpixel clouds of the individual sensitivity characteristics are interpolated exactly at the same point. If, as just mentioned, the pixels of the other sensitivity characteristics are also used to improve the interpolation, an even better image quality results.
  • each channel alone is uniformly filtered, such as e.g. spectral filtered, neutral density filtered or polarization filtered, but different channels may have different filter characteristics.
  • the solid angle ranges could be provided so that, for each filter characteristic, the channels associated with this filter characteristic cover the overall field of view of the image pickup device 10, so that for all these filter characteristics there is an overall image cloud as shown in FIGS. 3a and 3b, respectively.
  • the interpolator 18 may separately perform interpolation on the grid intersection points of the regular grating 42 for each of these subpixel clouds for the different filter characteristics, thus arriving at a regular image arrays with multicomponent image information, such as those shown in FIG. to a color picture.
  • the image sensor 12 may be, for example, a CMOS image sensor in which the subregions 24j-24 3 are integrally integrated on a substrate or chip, for example.
  • the multi-channel optics can be integrated directly on the chip itself or separated from a surface of the substrate by semi-transparent layer arrangements, which provide optical transparency between the portions 24p24 3 and the apertures, but for an optical separation of the individual channels with each other ,
  • the interpolator 18 could be integrated on the same chip or substrate on which the image sensor 12 is also integrated.
  • the interpolator 18 could be hardwired, programmable circuit logic, or a computer program running on a processor.
  • the interpolator 18 may also be a computer which is connected to the image sensor 12.
  • the mapper 19 may be a non-volatile memory, such as an EEPROM or the like.
  • the image input interface 20 may be, for example, be a toggle switch with a first tilted position, a second tilted position and a non-tilted position, the first two positions could trigger a close-up and close-up and the latter position a rest or a don't-care State would be.
  • the allocator 19 would carry out the assignment, for example, according to FIG. 3b or 3a.
  • the user input interface 20 it would also be possible for the user input interface 20 to be a rotary wheel or other continuously variable user interface, such as an adjustable bar in a graphical user interface. In the latter case, the allocator 19 could also use the input thus made as a continuous or quasi-continuous indication of the distance in order to use this in the calculation of the assignment of the lateral imaging positions in the depth of field 40.
  • a distance sensor 20 may be used. This distance sensor can detect the distance of the scene to be photographed in any way, e.g. by transit time measurement or the like, but also estimating, e.g. from the image information of the individual partial images themselves. More or less quantized, the distance measurement thus obtained could be used by the allocator 19 as mentioned above, in order to adapt the ZuOrdstedsvorschrift accordingly.
  • the optics 14 generates, for example, M x N non-overlapping microimages on the sensor 12.
  • the individual channels of the microchannel optics may, for example, have individual microlenses 26.
  • Each microlens images a solid angle range I 61 -I 63 from the object space to the sensor, wherein, as has already been indicated above and is still deepened below, this simplification applies only to objects whose distance is large compared to the microlens repetition distance.
  • the solid angle ranges 16 r 16 3 or fields of view of the individual channels are not disjoint, but overlap, as shown in Fig. 1 at 44.
  • Each pixel 28 within a microimage 24j-24 3 which in turn is within the range illuminated by the associated microlens 26i-26 3 , "sees" A small solid angle, in which he integrated over the same.
  • this is illustrated by way of example for the partial area 241 in a very simplified manner.
  • the solid angles 46 which see a single one of the mutually adjacent pixels 28 within a portion 24) of a microlens, which is not shown in Fig. 5a for the sake of simplicity, for example, close together seamlessly.
  • the regions 46 do not completely close to each other.
  • the value of a pixel 28 represents a measurement of the radiance that falls on the respective pixel 28 in the direction of the beam in the center of the respective solid angle 46. This then represents the above-mentioned viewing direction 48 of the respective pixel 28 and is illustrated in FIG. 5b.
  • each microlens 26i-26 3 of the multichannel optics may have its own form of distortion, which is shown in FIG. 6 as an example for the channel of region 24].
  • the image pickup apparatus 10 it is now possible for the image pickup apparatus 10 to generate a regular, appealing common image from the microimages.
  • the measured values ie the sampled values of the individual pixels 28, are plotted from the pixels for the beam densities.
  • the coordinates of the measured values result, for example, from the viewing direction or the direction of the optical axis of the associated microlens 26 26 3 or the respective channel, the pixel coordinates of the respective pixel under the respective microlens and the distortion of the respective microlens, and can, as in the preceding Referring to Figures 3a and 3b, in angular units or in Cartesian form with respect to a depth of field.
  • the exact shape of the distortion can be determined from the optical design of the optic 14, but also be measured for a specific physical system of sensor 12 and, for example glued optics 14.
  • each microlens or each subregion of the image sensor generates a small point cloud on the plane according to FIGS. 3a and 3b.
  • Each - infinitely small - point in the point cloud represents a measurement of the radiance for a particular line of sight or lateral formation position in the respective depth of field.
  • the beam density between the points can initially be assumed to be unknown.
  • the point clouds of adjacent microlenses which are indicated in Fig. 3 a and 3 b with the borders 34 only in terms of their outer dimensions, penetrate each other.
  • the optical design of the micro lens system can be designed so that the points of the point clouds do not coincide, but are distributed as evenly as possible on the plane, i. also in the area in which the partial image point clouds of the individual channels overlap, such an overlapping area being indicated at 50 in FIG. 3b.
  • interpolator 18 applies a regular Cartesian grid 42 via the total point cloud obtained as described above.
  • the radiance is determined or interpolated from the existing measured values at the crossing points of the Cartesian grid. For example, for each intersection point, the n closest neighbors may be determined using their radiance values for weighted averaging.
  • the weighting or norm of each pixel beam dense value can take place, for example, with the inverse of the distance or the inverse of the square of the distance.
  • the determination of the nearest neighbors may e.g. by searching through all points of the point cloud. Dividing the points into different areas, so-called bins, can speed up your search. A faster alternative is to triangulate between the pixels of the cloud, optimally a triangular triangulation. Finding the nearest neighbors of any point in a Delaunay triangulation is comparatively fast.
  • the following algorithm described by a pseudocode, can be used to generate and interpolate the point cloud. // Create point cloud
  • ViewDevice ComputeViewPointPixel (Microlens, PositionlnLens (Pixels))
  • Point cloud (color). Add (Gaze Direction, RadianceFromPicture (Pixel)) End if
  • Neighbors point cloud (color). findNext Neighbors (x, y)
  • Weight CalculateNorm (neighbor, x,)
  • the first for loop in the point cloud generation program code goes through the individual colors of the pixels. So it creates a total cloud for each color.
  • the second for loop passes through all microimages 24 r 24 3 .
  • the third for loop ie the innermost one, passes through all the pixels 28 in the current microimage 24j-24 3 .
  • the innermost case query checks whether the currently searched pixel has the current color. If this is the case, its viewing direction is calculated, using the reference to the respective channel or the respective microlens and the pixel position within the microimage, and the radiance of the currently searched pixel is in the plane shown in FIG 3b entered at the appropriate place. In this exemplary case, the viewing direction was assumed, ie, the plane according to FIG. 3b.
  • the second part of the program deals with the actual interpolation.
  • the outermost for loop goes through the individual colors again.
  • the regular Cartesian grid 42 is traversed, namely its intersection points 52.
  • Image width and image height thus indicate the image height and the image width of the desired overall image, which is to be output later at the output 22.
  • the neighbors for this grid point 52 are first determined. For example, the four nearest neighbors of the exemplary intersection point 52 of the grid 42 shown in FIG. 7 would be the pixels indicated by 1, 2, 3, and 4.
  • the innermost for-loop passes through all of these nearest-neighbor pixels, calculating a weighting for each of these pixels according to a suitable distance norm for the ak 2, and forms a correspondingly weighted sum of the radiance of these pixel neighbors, to arrive at interpolated values at the location of the current intersection point 52.
  • an interpolated value is determined for all intersection grid points 52, namely for all colors, so that a multicomponent color value is produced for a grid 42 for each grid intersection point 52.
  • each channel may be individually filtered.
  • the image sensor 12 is covered with a suitable Farbheterar- ray, such. according to a Bayer pattern.
  • a suitable Farbheterar- ray such. according to a Bayer pattern.
  • the spectral radiance of the overall image can be measured for some, usually three wavelength bands. The density of the measurement points in a single band naturally decreases. In a Bayer pattern, it is halved for green and quartered for red and blue.
  • a point cloud per color channel is then generated, for example. From the corresponding interpolation in the green point cloud, the green channel of the finished image results, analogous to red and blue. Together, the channels give the finished color image.
  • the measuring points from the green channel are used to interpolate the red and blue channels and vice versa.
  • parallax effects may be responsible for that, if the distance of the object to be imaged is not large compared to the microlens repeat distance, the simplification is no longer true, after which the parallax term is negligible.
  • its position on the image sensor is also relevant in this case. To illustrate this, reference is briefly made to FIG. 8, which illustrates above the case where the object is correctly located at a distance, ie, the object is located sufficiently far from the image sensor 12, and it is also assumed that the increasing Object is arranged in this remote distance, ie the assignment is used in accordance with FIG.
  • Measured values of adjacent points on an object remain juxtaposed in the finished image as long as the image acquisition device is used by default or the above setting options are used.
  • the object distance of an arrangement of the measuring points on the image plane may be taken into account.
  • a fixed object distance can be assumed.
  • a distance estimation or measurement and a corresponding treatment of the measurement points as has been described above.
  • a chirped micro-lens array may be used for the multi-channel optics, ie a microlens array whose lens vertices have lateral positions which are positioned, for example, centrically stretched or otherwise shifted relative to the center positions of the corresponding subregions.
  • 4 shows by way of example a possible example of a fixed arrangement with a fixed distance between the image sensor 12 and the microlens array 14.
  • the image sensor 12 is, for example, a CMOS image sensor or another semiconductor sensor.
  • a plurality of glass substrates 60, 62 and 64 are disposed with membrane arrays 66 and 68 for channel separation and scattered light absorption interposed therebetween.
  • the microlenses 26i-26 5 are formed.
  • the pitch repetition distance of the microlenses is greater than the center repetition distance of the subregions 24 ⁇ 24 5 , whereby the enlargement of the total field of view or the divergence of the central viewing directions 70 r 70 5 of the individual channels arises.
  • the above exemplary embodiments could also be used by adding primary optics to the microlens array in the exemplary embodiments shown above.
  • the channels of the microlmsenarrays shown above can be the same or can be different or chirped relative to one another in the lateral direction or over the field.
  • a channel can in turn be imaged by a single lens, as shown by way of example in FIG. 4, or a lens system.
  • an aperture array could also be used for imaging or a combination of both.
  • the viewing direction of each pixel could be determined so that they can be converted into a point cloud, on which the above-mentioned interpolation can be carried out.
  • an inversion of the individual images, an equalization thereof and a parallax correction are inherently performed in one step, which speeds up the processing.
  • the image information is combined in one step to form an overall image and interpolation intermediate steps are eliminated, which in turn improves the quality of the overall image, since the image sharpness is increased and artifacts are reduced.
  • the above embodiments are suitable for sensors with filters. It would be possible to use a color filter array under each microlens, or to place under each microlens a filter of exactly one color.
  • the latter filters can be RGB color filters and it is also possible to use additional colors, e.g. RGB + gray or RGB + cyan.
  • the use of polarizing filters or grayscale or neutral density filters of different densities is also possible.
  • the above embodiments it is also possible that not only the fields are registered to each other globally, but every pixel of the image to others. Distortion of the microimages is inherently automatically compensated. Different microimages can thus also be recorded differently, which significantly reduces the requirements placed on the optical system.
  • the optic 14 may be simpler in construction and smaller / flatter, the manufacturing tolerances may be greater, and thus all that also reduces the manufacturing cost of the above embodiments and reduces the size.
  • the above exemplary embodiments can be used in camera systems in many fields of application, such as mobile telephones, video conferencing systems, in the field of medical applications, in robotics, in machine vision applications, in vehicle cameras and in remote sensing, especially in the field of multispectral imaging.
  • each of the above channels could, of course, also be formed individually from a camera, in which case the above-mentioned image sensor 12 would split into the individual chips of the cameras, which individually formed the subregions 24i-24 3 , and the optics 14 into individual lenses of the cameras.
  • aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method such that a block or device of a device is also to be understood as a corresponding method step or feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
  • a further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents or represents the computer program for carrying out one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

Ein verbessertes Verhältnis zwischen Hardware-/Herstellungsaufwand auf der einen und Bildqualität auf der anderen Seite wird unter Verwendung einer Mehrkanaloptik erzielt, indem die Abtastwerte der Bildpunkte gemäß einer Abbildungsrichtung, von der aus die Optik Objekte auf dem jeweiligen Bildpunkt abbildet, oder einer lateralen Abbildungsposition in einer Schärfentiefenfläche, die die Optik auf den jeweiligen Bildpunkt abbildet, angeordnet und die so angeordnete Verteilung von Abtastwerten der Bildpunkte an Kreuzungspunkten eines regelmäßigen, sich über die gesamte Verteilung der Abtastwerte erstreckenden Gitters interpoliert werden. Die Verarbeitung ist auf diese Weise über das gesamte Bild hinweg vereinheitlicht, so dass Übergangsprobleme zwischen den Teilbereichen vermieden werden.

Description

Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
Beschreibung
Die vorliegende Erfindung bezieht sich auf eine Bildaufnahmevorrichtung und ein Verfahren zum Aufnehmen eines Bildes.
Die Miniaturisierung von Kameramodulen und die Reduktion ihrer Herstellungskosten stellt in vielen Bereichen, wie z.B. dem Bereich der Mobiltelefonkameras und dem Bereich der Fahrzeugtechnik, ein wichtiges Ziel dar. Die Modulgröße steht im Verhältnis zur Pixelgröße in allen Dimensionen. Das gilt auch für die Länge entlang der optischen Achse: kleinere Pixel reduzieren die Sensorgröße bei einer gegebenen Gesamtanzahl der Pixel; ein kleinerer Sensor ermöglicht eine kürzere Brennweite bei gegebenem Blickfeld. Die mini- male Ausdehnung entlang der optischen Achse eines Kameramoduls wird hauptsächlich durch die Brennweite des optischen Systems begrenzt.
Multikanalabbildungssysteme versprechen - inspiriert durch die Facettenaugen von Insekten - Fortschritte in beider Hinsicht, nämlich Miniaturisierung und Kostenreduzierung. Anstelle eines einzigen Linsenstapels mit einer Ausdehnung in der Größenordnung einiger Millimeter besteht das optische System bei Mehrkanalabbildungssystemen aus einem Ar- ray von Mikrolinsen. Die Mikrobilder, die durch diese Mikrolinsenarrays erzeugt werden, werden optisch oder elektronisch zu einem einzigen Bild kombiniert. Bei einem bestimmten vorgegebenen Blickfeld des Gesamtsystems beträgt die Brennweite der Mikrolinsen eines solchen Mehrkanalabbildungssystems lediglich ein Bruchteil der Brennweite eines Einzelkanalsystems, wodurch die Aufbauhöhe entlang der optischen Achse reduziert und die Schärfentiefe signifikant erhöht wird. Da jedes Mikrobild lediglich einen kleinen Ausschnitt des Blickfeldes abdeckt, können die optischen Systeme einfach gestaltet werden: eine Linse und wenige Aperturen pro Kanal sind häufig ausreichend. Da die Mikrolinsen einen Durchmesser von der Größenordnung von Hunderten von Mikrometern und eine Scheitelhöhe im Bereich von mehreren 0 Mikrometern aufweisen, können sie kosteneffektiv im Waferverbund und mit hoher Präzision hergestellt werden.
Bisher war es allerdings eine Herausforderung, eine ausreichende Auflösung für Anwendungen zu erzielen, wie z.B. bei Kameras, Handys oder dergleichen. Trotz des relativ achsparallelen Strahlengangs jedes Einzelkanals treten pro Kanal optische Verzeichnungen auf, was das Aneinanderfügen der einzelnen Teilbilder auf den einzelnen Abbildungskanälen erschwert. Wird der Versuch unternommen, Mikrolinsenarrays und zugehörige Teilbe- reiche des Bildsensors derart exakt zueinander auszurichten, dass die Einzelbildarrays aus den Teilbereichen des Bildsensors lediglich noch zu einem Gesamtpixelarray zusammengefügt werden müssen, so bedeutete dies hohe Anforderungen an die Herstellungstoleranzen und an die Toleranzen beim Zusammenbau von Bildsensor und Mikrolinsenarray. In Brückner, Duparre, Dannberg, Leitel und Bräuer:„Driving Microoptical Image System towards Miniature Camera Applications, Micro-Optic 2010, Proceedings of SPIE, Bd. 7716, wird ein Algorithmus zur Kombination von Teilbildern eines Mehrkanalabbildungs- systems zu einem Gesamtbild beschrieben, das mehrstufig abläuft: Die Mikrobilder werden zunächst invertiert und dann entzerrt, woraufhin die Mikrobilder unter Berücksichti- gung der Parallaxe durch Umsortierung zu einem Gesamtbild zusammengefügt werden. Die Entzerrung wird dabei mit Subpixelgenauigkeit durchgeführt. Die so erhaltenen einzelnen Bildpunktwolken werden einer Interpolation unterzogen, um jeweils entzerrte Teilbilder zu erzeugen, bei denen die Bildinformationen auf ganzzahlige Pixelpositionen festgelegt sind. Diese Teilbilder werden schließlich durch Umordnung der Pixel bzw. Ineinan- deranordnen der Pixel in den Überlappbereichen der entzerrten Teilbilder zu einem Gesamtbild verflochten. Obwohl die dort offenbarte Vorgehensweise das obige Problem der hohen Anforderung an die Herstellungsgenauigkeiten reduziert, bleibt ein Problem, dass aufgrund von Fehlanpassungen der individuellen Bearbeitung der Teilbilder Artefakte in dem erzeugten Gesamtbild entstehen können, insbesondere entlang der Überlappbereiche der Teilbilder.
Probleme ähnlicher Art, wie sie im Vorhergehenden Bezug nehmend auf die Mehrkanal- abbildungssysteme zur Erzielung eines größeren Gesamtgesichtsfeldes beschrieben worden sind, treten auch bei anderen Anwendungen auf. Die US 2001/013807 AI mit dem Titel „Scene independent Method for Information in lenslet Array Images" beschreibt beispielsweise ein Array von Mikrolinsen, bei dem die Linsen in etwa in die gleiche Richtung zu schauen und den gleichen Bildöffnungswinkel zu haben. Die Blickrichtungen der einzelnen Mikrolinsen unterscheiden sich allerdings minimal. Insbesondere wird in dem Patent beschrieben, wie die Blickrichtungsunterschiede der einzelnen Teilbilder ermittelt werden können. Dazu wird unter anderem beschrieben, wie die Teilbilder sehr genau aufeinandergelegt werden können, wobei dort eine globale Verschiebung verwendet wird. Eine eventuelle Verzeichnung der Einzelbilder wird allerdings nicht kompensiert.
Die objektive Aufgabe der vorliegenden Erfindung besteht darin, eine Bildaufnahmevor- richtung und ein Verfahren zum Aufnehmen eines Bildes zu schaffen, so dass mit relativ wenig Aufwand in Bezug auf Herstellung und an Hardware eine ansprechende Qualität eines Gesamtbildes erhalten werden kann, wenn zur Aufnahme eine Mehrkanaloptik verwendet wird. Diese Aufgabe wird durch eine Bildaufnahmevorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 15 gelöst. Gemäß einem Ausfuhrungsbeispiel der vorliegenden Erfindung umfasst eine Bildaufnahmevorrichtung einen Bildsensor mit einer Vielzahl von Bildpunkten, der ausgebildet ist, um in einer Aufnahme einen Abtastwert pro Bildpunkt zu erfassen sowie eine Optik zur Erzeugung einer optischen Abbildung auf dem Bildsensor, wobei die Optik eine Mehrkanaloptik zum individuellen Bilden sich überlappender Raumwinkelbereiche auf separate Teilbereiche des Bildsensors umfasst. Jedem Bildpunkt des Bildsensors ist ein Abbildungswert zugeordnet, und die Abbildungswerte sind Abbildungsrichtungen, von der aus die Optik Objekte auf den jeweiligen Bildpunkt abbildet, oder laterale Abbildungspositionen in einer Schärfentiefenfläche, die die Optik auf den jeweiligen Bildpunkt abbildet. Schließlich umfasst die Bildaufnahmevorrichtung einen Interpolator zum Interpolieren einer Verteilung der Abtastwerte der Bildpunkte gemäß ihren Abbildungswerten an Kreuzungspunkten eines regelmäßigen, sich über die gesamte Verteilung der Abtastwerte erstreckenden Gitters, um ein Array von Bildwerten zu erhalten.
Eine Erkenntnis der vorliegenden Erfindung besteht darin, erkannt zu haben, dass ein ver- bessertes Verhältnis zwischen Hardware-/Herstellungsaufwand auf der einen und Bildqualität auf der anderen Seite unter Verwendung einer Mehrkanaloptik erzielt werden kann, wenn die Abtastwerte der Bildpunkte gemäß einer Abbildungsrichtung, von der aus die Optik Objekte auf dem jeweiligen Bildpunkt abbildet, oder einer lateralen Abbildungsposition in einer Schärfentiefenfläche, die die Optik auf den jeweiligen Bildpunkt abbildet, angeordnet und die so angeordnete Verteilung von Abtastwerten der Bildpunkte an Kreuzungspunkten eines regelmäßigen, sich über die gesamte Verteilung der Abtastwerte erstreckenden Gitters interpoliert werden. Die Verarbeitung ist auf diese Weise über das gesamte Bild hinweg vereinheitlicht, so dass Übergangsprobleme zwischen den Teilbereichen vermieden werden.
Bevorzugte Ausgestaltungen der vorliegenden Anmeldung sind Gegenstand der abhängigen Patentansprüche.
Bevorzuge Ausführungsbeispiele der vorliegenden Anmeldung werden nachfolgend Bezug nehmend auf die beigefügten Zeichnungen näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung; Fig. 2 eine schematische Darstellung einer Bildaufnahmevorrichtung gemäß einem weiteren, etwas detaillierteren Ausführungsbeispiel der vorliegenden Anmeldung; Fig. 3a eine schematische Darstellung einer Verteilung der Bildpunkte gemäß ihrer Abbildungswerte gemäß einem Ausfuhrungsbeispiel der vorliegenden Anmeldung, bei der als die Abbildungs werte laterale Abbildungsorte in einer Schärfentiefenfläche verwendet werden; Fig. 3b eine schematische Darstellung einer Verteilung der Bildpunkte gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung, wonach als die Abbildungswerte Abbil- dungsrichtüngen verwendet werden, entlang denen die Optik die Abbildung auf die jeweiligen Bildpunkte vornimmt; Fig. 4 eine Schnittansicht einer Anordnung aus Bildsensor und Mikrolinsenarray gemäß einem Ausführungsbeispiel;
Fig. 5a und 5b schematische Darstellungen zur Veranschaulichung der Blickfelder und Blickrichtungen einzelner Pixel;
Fig. 6 eine Raumansicht zur Veranschaulichung von Blickrichtungen der Bildpunkte innerhalb eines Teilbereichs inklusive einer Verzerrung gemäß einem Ausführungsbeispiel;
Fig. 7 eine schematische Ansicht einer Bildpunktwolke und eines darüber gelegten regel- mäßigen Gitters gemäß einem Ausführungsbeispiel; und
Fig. 8 eine schematische Zeichnung zweier Aufnahmesituation zur Veranschaulichung des entstehenden Fehlers bei fälschlicher Ignorierung des Parallax-Effektes. Fig. 1 zeigt eine Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung. Die Bildaufnahmevorrichtung von Fig. 1 ist allgemein mit dem Bezugszeichen 10 angezeigt und umfasst einen Bildsensor 12 mit einer Vielzahl von Bildpunkten, die erst in Fig. 2 exemplarisch gezeigt sind, und einer Optik 14 zur Erzeugung einer optischen Abbildung auf dem Bildsensor 12, wobei die Optik eine Mehrkanaloptik zum individuellen Abbilden sich überlappender Raumwinkelbereiche 16i, 162 und 163 auf separate Teilbereiche des Bildsensors umfasst, welche letztere ebenfalls erst in Fig. 2 angedeutet werden. Die Bildaufnahmevorrichtung 10 von Fig. 1 umfasst ferner einen Interpo- lator 18 sowie - optional - weitere Komponenten, wie z.B. einen Zuordner 19 und eine Benutzereingabeschnittstelle und/oder einen Entfernungsmesser 20.
Der Bildsensor 12 ist mit dem Interpolator 18 verbunden, und ist ausgebildet, um in einer Aufnahme einen Abtastwert, wie z.B. einen Helligkeitswert, pro Bildpunkt zu erfassen und an den Interpolator 18 auszugeben. Die optionale Eingabeschnittstelle und/oder der optionale Entfernungsmesser 20 sind optionale über den Zuordner mit dem Interpolator 18 verbunden. Wie es im Folgenden noch näher erörtert werden wird, ist es über die optionale Eingabeschnittstelle oder den Entfernungsmesser 20 in Zusammenarbeit mit dem Zuordner 19 möglich, dass der Interpolator 18 bei der später noch näher zu erörternden Interpolation die Entfernung berücksichtigen kann, die die Objekte einer Szene aufweisen, die sich in dem durch die überlappende Raumwinkelbereiche I 61-I 63 gebildeten Gesamtgesichtsfeld befinden und auf die jeweiligen Teilbereiche des Bildsensors 12 abgebildet werden. An einem Ausgang 22 der Bildaufnahmevorrichtung 10 gibt der Interpolierer 18 das ge- wünschte Bild in Form eines Arrays von Bildwerten aus.
Nachdem nun im Vorhergehenden der Aufbau der Bildaufnahmevorrichtung von Fig. 1 beschrieben worden ist, wird im Folgenden ihre Funktionsweise näher beschrieben. Dabei wird im Folgenden auch manchmal auf Fig. 2 Bezug genommen, die die gleichen Kompo- nenten wie aus Fig. 1 gezeigt, jedoch mit einem erhöhten Detaillierungsgrad gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung.
Wie bereits im Vorhergehenden erwähnt, weist die Optik 14 eine Mehrkanaloptik zum individuellen Abbilden sich überlappender Raumwinkelbereiche I 61-I 63 auf separate Teil- bereiche 24i-243 bzw. 243 des Bildsensors 12 auf. Wie es in den Figuren 1 und 2 angedeutet ist, kann es sich bei der Mehrkanaloptik um ein Linsenarray aus Mikrolinsen 26i-263 handeln, von denen jede einem jeweiligen der Teilbereiche 24r242 bzw. 243 zugeordnet ist, um einen entsprechenden Kanal mit einem jeweiligen Blickfeld bzw. Raumwinkelbe- reich 16i-162 bzw.l63 zu bilden. In dem exemplarischen Fall von Fig. 1 und 2 ist die Mehr- kanaloptik so ausgebildet, dass die sich überlappenden Raumwinkelbereiche I 61-I63 zusammen einen Gesamtraumwinkelbereich abdecken, der deutlich größer ist als die sich gegenseitig überlappenden Raumwinkelbereiche allein genommen, wie z.B. 4 mal größer als jeder der sich überlappenden Raumwinkelbereiche I 61-I 63. Wie bereits in der Beschreibungseinleitung der vorliegenden Anmeldung erwähnt, kann auf diese Art und Weise eine Aufbauhöhe h, die im Wesentlichen einem Abstand der Optik 14 von dem Bildsensors 12 entspricht und etwa gleich oder etwas größer als eine Brennweite der Mikrolinsen ist, verkleinert werden. Erzielt wird nämlich der insgesamt vergrößerte Gesamtblickwinkel, indem beispielsweise ein Mittenabstand der Mikrolinsen 26i-263 bzw. ein mittlerer Ab- stand der Scheitel der Mikrolinsen 26i-263 gegenüber einem Mitten- bzw. Wiederholabstand der Teilbereiche 24r243 des Bildsensors 12 vergrößert wird. Auf diese Weise tritt eine Entkopplung des gewünschten Gesamtgesichtsfeldes der Bildaufnahmevorrichtung von der Aufbauhöhe h ein. In anderen Worten ausgedrückt kann durch Aufteilung des Ge- samtgesichtsfeldes in die Einzelgesichtsfelder 16^163 die Aufbauhöhe h gegenüber einem Aufbau mit einer Einzeloptik reduziert werden, und zwar um so mehr, je größer die Anzahl der Teilbereiche ist. Aufgrund des notwendigen Abstandes zwischen den Linsen bzw. der Größe der Linsen im Verhältnis zu den kleineren Teilbereichen kann die Aufteilung in einzelne Kanäle allerdings in der Realität begrenzt sein. Beispielsweise liegt eine Anzahl der Kanäle zwischen 4 und 10000.
Schließlich wird, bevor mit der Beschreibung der Funktionsweise fortgefahren wird, darauf hingewiesen, dass es anders als in den nächsten Ausführungsbeispielen dargestellt, auch möglich wäre, den Wiederholabstand der Mikrolinsen 26r263 kleiner einzustellen als den mittleren Wiederholabstand der Teilbereiche 24i-243, und zwar derart, dass die Raumwinkelbereiche sich im Wesentlichen vollständig überlappen. Beispielsweise könnte der Gesamtraumwinkelbereich so klein sein, dass er höchstens 120% größer ist als jede der sich überlappenden Einzelraum winke! bereiche . Wie es bereits erwähnt worden ist, weist der Bildsensors 12 eine Vielzahl von Bildpunkten 28 auf. Dabei umfasst wiederum insbesondere jeder der Teilbereiche 24r243 eine Vielzahl dieser Bildpunkte 28 auf. Beispielsweise umfasst jeder Teilbereich 24[-243 32 oder mehr Bildpunkte. Eie es noch später Bezug nehmend auf Fig. 4 beschrieben werden wird, kann es sich bei dem Bildsensors 12 beispielsweise um einen Ein-Substrat-Bildsensor handeln, in welchem die Teilbereiche 24i-243 gemeinsam gebildet sind, wobei Zwischenräume zwischen diesen Teilbereichen 24i-243 dazu verwendet werden können, Ansteuerungsschal- tungsteile zur Ansteuerung der photoempfindlichen Bereiche der Bildpunkte 28 unterzubringen wie z.B. Leseverstärker, Zeilen- und/oder Spaltendecoder usw. Genauso, wie den Teilbereichen 24i-243 durch die relative Anordnung zur Optik 14 und insbesondere den Mikrolinsen 26r263 ein jeweiliger Raumwinkelbereich 16j-163 zugeordnet ist, ist natürlich auch jedem Bildpunkt 28 ein jeweiliger, natürlich kleinerer Raumwinkelbereich zugeordnet und somit auch eine Blick- bzw. Abbildungsrichtung, die beispielsweise zentral zu dem jeweiligen Raumwinkelbereich des Bildpunkts verläuft. Der Zusam- menhang wird später näher Bezug nehmend auf Fig. 5a und Fig. 5b erläutert. Alle Abbil- dungs- bzw. Blickwinkel der Abbildungs- bzw. Blickrichtungen werden beispielsweise bezogen auf eine optische Achse der Optik 14 bzw. einer Flächennormalen der photoempfindlichen Fläche des Bildsensors 12 bestimmt. Auf diese Weise ist es möglich, die Bild- punkte 28 in einer Ebene anzuordnen, wie sie in Fig. 3b dargestellt ist, nämlich eine Ebene, die durch zwei Achsen aufgespannt wird, von denen eine Achse 30 die Abweichung der Abbildungsrichtung der jeweiligen Bildpunkts φ in einer Zeilenrichtung x der Bildpunkte 28 und eine Achse 32 beispielsweise die Winkelabweichung der Abbildungsrichtung ge- genüber der optischen Achse in der zur Achse x senkrechten Spaltenrichtung y betritt, wobei letzterer Winkel mit θ angegeben ist. Es wird darauf hingewiesen, dass die Achsen vorzugsweise gleich skaliert bzw. isotrop sind. In Fig. 3b ist angedeutet, wie die Bildpunkte in der so aufgespannten Ebene gemäß ihren Abbildungsrichtungen angeordnet sind. Die Umrandung 34 umrandet beispielsweise die mit Punkten angedeuteten Positionen der Bildpunkte 28 des Teilbereichs 24χ. Das kissenförmige Aussehen der Umrandung 34 deutet an, dass eine Verzeichnung der Mikrolinse 261 beispielsweise für eine kissenförmige Verteilung der Bildpunkte 28 des Teilbereichs 24i in der (φ, θ )-Ebene sorgt. Der Übersichtlichkeit halber sind in Fig. 3b die Bildpunkte 28 der anderen Teilbereiche 24 -243 nicht dargestellt, sondern lediglich deren Umrandungen 36 und 38, die die Ränder der je- weiligen Teilbildpunktwolken. Zudem deutet Fig. 3b an, wo sich die Bildpunkte von Teilbereichen befinden, die beispielsweise in der x-Richtung benachbart zu den Teilbereichen 24i-243 positioniert sein können, und die in Fig. 2 mit gestrichelten Linien angedeutet sind.
Wenn die Szene, die durch die Bildaufnahmevorrichtung 10 aufgenommen wird, weit ge- nug entfernt ist, dann reicht es aus, wie im Vorhergehenden beschrieben lediglich die Blickrichtung zu betrachten, die jedem Bildpunkt 28 zugeordnet ist. Parallax-Effekte, die aufgrund der Tatsache auftreten, dass die Bildbereiche 24(-243 und die zugehörigen Mikro- linsen zueinander lateral versetzt sind, fallen bei großen Entfernungen nicht ins Gewicht. Das ist anders bei kürzeren Entfernungen. Fig. 1 zeigt beispielsweise eine Schärfentiefeflä- che 40 als eine Ebene, die sich senkrecht zur optischen Achse der Optik 14 erstreckt, ebenso wie Fig. 2 diese Schärfentiefefläche zeigt. Es sei noch mal darauf hingewiesen, dass aufgrund der Tatsache, dass die aufgenommene Szene in mehrere Kanäle aufgeteilt wird, die Schärfentiefe der Optik 14 sehr hoch ist. Auf diese Weise ist es möglich, dass die Mik- rolinsen 26]-263 Objekte in einem sehr großen Schärfentiefenbereich, d.h. innerhalb eines sehr großen Abstandsbereiches von der Optik 14, scharf auf den Bildsensors 12 abbilden. Mikrolinsen 26 263 können beispielsweise in einem solchen Abstand zu der photoempfindlichen Fläche des Bildsensors 12 positioniert sein, dass dieser Abstand entweder gleich oder geringfügig größer als eine Brennweite der Mikrolinsen 26 263 ist. Ebenso wie nun jedem Bildpunkt 28 eine Abbildungsrichtung zugeordnet werden kann, kann auch jedem Bildpunkt eine laterale Abbildungsposition in der transversal verlaufenden Schärfentiefenfläche 40 zugeordnet werden, nämlich diejenige, die die Optik 14 auf den jeweiligen Bildpunkt 28 abbildet. Wie es nun in Fig. 3a gezeigt ist, können die Bildpunkte 28 gemäß ihrer lateralen Abbildungsposition in einer Ebene angeordnet werden, die durch eine kartesische Koordinate in der Richtung x und eine kartesische Koordinate in der Richtung y aufgespannt wird. Wie auch in dem Fall von Fig. 3b sind in Fig. 3a durch Punkte lediglich die Positionen der Bildpunkte 28 für den Teilbereichen 241 einzeln angedeutet, wohingegen durchgezogene Linien global die Lage bzw. Ausdehnung der Wolke von Positionen der Bildpunkte der Teilbereiche 242-243 andeuten sowie gestrichelte Linien eine Lage der Bildpunkte möglicher weiterer Teilbereiche, die in Fig. 2 mit gestrichelten Linien angezeigt sind. Auch in Fig. 3a deutet eine kissenförmige Ausgestaltung der Um- randungslinien an, dass die Einzelkanaloptiken der Optik 14 Verzerrungen hervorrufen können.
Wie im Vorhergehenden erwähnt, sind der Bildsensors 12 und die Optik 14 in einem festen Abstand zueinander angeordnet. Natürlich wäre eine variable Einstellmöglichkeit des Ab- Standes zwischen Bildsensors 12 und Optik 14 ebenfalls möglich, um den Schärfentiefenbereich einstellen zu können, aber wie im Vorhergehenden erwähnt, ist aufgrund der Tatsache, dass aufgrund der Verwendung der Mehrkanaloptik und der verkleinerten Aperturen der Mikrolinsen der Schärfentiefenbereich ohnehin so groß, dass eine Nachjustierung meist nicht notwendig ist. Wenn nun die Bildaufnahmevorrichtung 10 dafür ausgelegt ist, Bilder von Objekten aufzunehmen, die in Entfernungen angeordnet sind, bei denen die Parallax- Effekte noch keine Rolle spielen, dann kann es sein, dass die in Fig. 3b dargestellte Zuordnung der Abbildungsrichtungen zu den einzelnen Bildpunkten 28 der Teilbereiche 24 243 fest eingestellt ist. Der Zuordner 19 müsste in diesem Fall nicht unbedingt vorhanden sein. Die Zuordnung könnte vielmehr in dem Pro rammcode fest einprogrammiert sein, der die Funktion des Interpolierers 18 implementiert, oder fest verdrahtet sein. Alternativ könnte der Zuordner 19 in Form einer Nachschlagtabelle als Speicher vorhanden sein. Ebenfalls möglich wäre die Ausgestaltung des Zuordners 19 als Recheneinheit, die die Abbildungsrichtungen der einzelnen Bildpunkte 28 für jede Aufnahme neu berechnet. Natürlich wäre es ebenfalls möglich, dass die Bildaufnahmevorrichtung 10 von Fig. 1 dazu ausgelegt ist, nur Objekte in einem bestimmten Nahbereich aufzunehmen, wie z.B. einen Nahbereich von in etwa einem halben Meter. In diesem Fall könnte die vorerwähnte Zuordnung gemäß Fig. 3a fest in dem Interpolierer 18 eingebaut sein, und der Zuordner 19 könnte fehlen. Alternativen, wie sie im Vorhergehenden bezogen auf die Zuordnung ge- mäß Fig. 3b beschrieben worden sind, wären aber natürlich ebenfalls möglich.
Die Zuordnungen gemäß Fig. 3b und 3a könnten nach Zusammenbau der Bildaufnahmevorrichtung beispielsweise mittels Aufnahme von geeigneten Kalibrierungsobjekten ermit- telt werden. Alternativ könnte die Ermittlung der Zuordnung von Abbildungsrichtung bzw. lateraler Abbildungsposition in der Schärfentiefenfläche 40 durch Berechnung anhand der Designparameter der Bildaufnahmevorrichtung 10 bzw. insbesondere des Bildsensors 12 der Optik 14 und deren Lage zueinander bestimmt werden. Bei beiden Alternativen wür- den die Verzerrungen durch die Optik 14 mit berücksichtigt werden können.
Natürlich wäre es auch möglich, dass die Bildaufnahmevorrichtung 10 zu sowohl Aufnahmen vorgesehen ist, bei denen Parallax-Effekte aufgrund des lateralen Versatzes zwischen den Teilbereichen bzw. Aperturen eine Rolle spielt, sowie für Aufnahmen, bei denen dies nicht der Fall ist. In diesem Fall könnte die Benutzereingabeschnittstelle 20 durch einen Benutzer verwendet werden, um dem Zuordner 19 vorzugeben, ob die Zuordnung gemäß Fig. 3 b, d.h. für Fernaufnahmen, oder gemäß Fig. 3 a, d.h. für Nahaufnahmen durchgeführt werden soll. Eine Vorgabe durch einen Entfernungsmesser 20 wäre ebenfalls möglich, wobei der Entfernungsmesser die Entfernung vermittels Laufzeitmessung oder dergleichen ermitteln kann, oder aber durch Analyse der in den Teilbereichen vorliegenden Informationen selbst, wie z.B. Korrelation. Der Übergang zwischen der Zuordnung gemäß Fig. 3b und 3 a muss auch nicht abrupt erfolgen. Vielmehr verschwindet der Parallax-Term ohnehin kontinuierlich mit größer werdendem Abstand der Szene von der Optik 14. Somit wäre es ebenfalls möglich, dass der Zuordner 19 von der Eingabeschnittstelle/dem Entfernungsmesser 20 eine Entfernungsangabe des aufzunehmenden Objekts erhält und dementsprechend die Zuordnung unter Berücksichtigung des Parallax-Terms durch Nachschlagen mittels der Entfernungsangabe oder durch Berechnung unter Verwendung der Entfernungsangabe einstellt. Der Interpolierer 18 ist nun dazu da, aus der gemeinsamen Punktwolke aller Bildpunkte 28 in der Ebene gemäß Fig. 3b bzw. Fig. 3 a ein Array von Bildpunkten, d.h. ein regelmäßiges Gitter von Bildwerten zu erzeugen, d.h. das gewünschte Bild. Dazu legt der Interpolierer 18 ein regelmäßiges Gitter 42 über die Vereinigung aller Einzelpunktwolken der Teilbereiche, d.h. über die gesamten Einzelbilder mit den Bildpunkten gemäß Abbildungswerten angeordnet, und interpoliert zwischen den Abtastwerten der Bildpunkte an den Positionen in der Ebene gemäß Fig. 3 a oder Fig. 3b, nämlich an den Positionen der Kreuzungspunkte des regelmäßigen Gitters 42. Es sei darauf hingewiesen, dass es möglich ist, dass das regelmäßige Gitter mehr Kreuzungspunkte aufweist als Stützstellen, d.h. mehr Kreuzungspunkte als Bildpunkte 28. Die Kreuzungspunkte des regelmäßigen Gitters 42, die zum ge- wünschten Bildarray beitragen, sollten allerdings innerhalb der gemeinsame Menge aller Bildpunkte liegen, da sonst eine Extrapolation mit der damit verbundenen Ungenauigkeit notwendig wäre. Ein Beispiel für ein Interpolationsverfahren wird im Folgenden geliefert. Allerdings existieren eine Vielzahl möglicher Interpolationsverfahren, die verwendet wer- den können. Die Abbildungs werte können jedenfalls vorteilhafter Weise in einer skalaren Genauigkeit mit einer kleinsten Einheit vorliegen, die mindestens 16 mal größer ist als ein Gitterabstand des regelmäßigen Gitters. In anderen Worten ausgedrückt kann der Interpo- lierer 18 in dem Raum gemäß Fig. 3a oder 3b die dort auftretenden Komponenten mit einer ersten Bitgenauigkeit handhaben, und bezogen auf dieselbe liegen die Kreuzungspunkte des Gitters 42 mindestens 16 kleinste Einheiten entfernt. Die Interpolation kann somit für alle Einzelbilder einheitlich in einem Schritt ablaufen, was sich beispielsweise darin niederschlagen kann, dass pro Gitterpunkt auch in den Überlappbereichen der Einzelbilder bzw. Einzelbildpunktwolken nur eine Interpolation durchgeführt wird, an der alle Einzel- bilder, die sich in dem jeweiligen Überlappbereich überlappen, gleichermaßen partizipieren. Ein Umjustieren bzw. Manipulieren der Abbildungswerte ist nicht erforderlich. Einmal ermittelt gehen Sie beispielsweise nur in Gewichtungswerte ein, mit denen die Strahldichtewerte der Bildpunkte zu einem jeweiligen interpolierten Wert kombiniert werden, indem nämlich, wie es im folgenden noch veranschaulicht wird, die Gewichtung bei- spielsweise gleich einem geeigneten Abstandmaß zwischen dem betrachteten Kreuzungsgitterpunkt, an dem gerade interpoliert werden soll, und dem jeweiligen umliegenden Bildpunkt ist.
Die vorhergehende Beschreibung ging nicht darauf ein, dass die Bildpunkte 28 möglicher- weise ein ungleiches Empfmdlichkeitsverhalten aufweisen. Ihre Empfindlichkeit kann sich beispielsweise spektral, hinsichtlich Polarisation des eintreffenden Lichts oder hinsichtlich der (Neutraldichte-) Empfindlichkeit unterscheiden. In diesem Fall wäre es möglich, dass der Interpolierer 18 die Bildpunkte gleicher Empfindlichkeitscharakteristik wie im Vorhergehenden beschrieben in den Ebenen gemäß Fig. 3a bzw. 3b anordnet und darüber einzeln das Gitter 42 legt, um zu einem regelmäßigen Bildarray getrennt für diese Empfindlichkeitscharakteristik zu gelangen, wobei dieses Vorgehen dann für alle Empfindlichkeitscharakteristiken bzw. für die Bildpunkte alle Empfindlichkeitscharakteristiken getrennt nach Empfindlichkeitscharakteristik durchgeführt würde. Wie es im Folgenden noch erwähnt werden wird, ist es dabei möglich, dass die Interpolation der jeweiligen Teilverteilung von Bildpunkten gleicher Empfindlichkeitscharakteristik dadurch verbessert werden kann, dass die Bildpunkte anderer Empfindlichkeitscharakteristik ebenfalls berücksichtigt werden. Auf diese eben beschriebene Art und Weise wäre es möglich, ein Farbbild zu erhalten. Ein Vorteil dieser Vorgehensweise besteht darin, dass das Gitter 42 für alle Empfindlichkeitscharakteristiken in der Ebene gemäß Fig. 3a bzw. 3b exakt an der gleichen Stelle liegen kann, so dass alle Farbkomponenten für eine Position des gemeinsamen Farbbildarrays exakt die gleiche Stelle betreffen. Bei normalen Farbaufnahmen mit einem Farbbildsensor ist dies nicht so, da die Komponenten einer Subpixelzelle lateral an unterschiedlichen Stellen abgetastet werden. In den Teilbereichen 24r243 der Bildaufnahmevorrichtung 10 ist dies zwar ebenfalls der Fall, aber durch die Interpolation werden die einzelnen Teilbildpunktwolken der einzelnen Empfindlichkeitscharakteristiken exakt an der gleichen Stelle Interpoliert. Wenn, wie soeben erwähnt, auch noch die Bildpunkte der anderen Empfindlichkeitscharakteristiken zur Verbesserung der Interpolation verwendet werden, ergibt sich eine noch bessere Bildqualität.
Allerdings ist es ebenfalls möglich, dass bei der Bildaufnahmevorrichtung 10 jeder Kanal für sich genommen einheitlich gefiltert ist, wie z.B. spektralgefiltert, neutraldichtegefiltert oder polarisationsgefiltert, aber verschiedene Kanäle können unterschiedliche Filtercharak- teristik aufweisen. In diesem Fall könnten die Raumwinkelbereiche so vorgesehen sein, dass für jede Filtercharakteristik die Kanäle, die zu dieser Filtercharakteristik gehören, das Gesamtblickfeld der Bildaufnahmevorrichtung 10 abdecken, so dass sich für alle diese Filtercharakteristiken eine Gesamtbildwolke gemäß Fig. 3a bzw. 3b ergibt. Wieder kann der Interpolierer 18 in diesem Fall für jede dieser Teilbildpunktwolken für die unterschied- liehen Filtercharakteristiken getrennt eine Interpolation an den Gitterkreuzungspunkten des regelmäßigen Gitters 42 durchführen, um auf diese Weise zu einem regelmäßigen Bildar- ray mit mehrkomponentigen Bildinformationen zu gelangen, wie z.B. zu einem Farbbild.
Nachdem nun im Groben die Funktionsweise und der Aufbau von Ausführungsbeispielen gemäß der vorliegenden Anmeldung beschrieben worden sind, wird im Folgenden noch auf Möglichkeiten eingegangen, die einzelnen Komponenten zu gestalten, die im Vorhergehenden erwähnt worden sind. Wie es aus der folgenden Beschreibung hervorgehen wird, kann es sich bei dem Bildsensors 12 beispielsweise um einen CMOS-Bildsensor handeln, bei dem die Teilbereiche 24j-243 beispielsweise gemeinsam auf einem Substrat bzw. Chip integriert sind. Durch Waferbonden oder Abformung kann die Mehrkanaloptik direkt auf dem Chip selbst integriert werden bzw. getrennt von einer Oberfläche des Substrats durch semitransparente Schichtenanordnungen, die für eine optische Transparenz zwischen den Teilbereichen 24p243 und den Aperturen sorgen, aber für eine optische Trennung der einzelnen Kanäle untereinander.
Der Interpolierer 18 könnte auf dem gleichen Chip bzw. Substrat integriert sein, auf dem auch der Bildsensors 12 integriert ist. Der Interpolierer 18 könnte hartverdrahtet sein, eine programmierbare Schaltungslogik oder ein Computerprogramm, das auf einem Prozessor abläuft. Insbesondere kann es sich bei dem Interpolierer 18 aber auch um einen Computer handeln, der mit dem Bildsensors 12 verbunden ist.
Der Zuordner 19 kann beispielsweise ein nicht-flüchtiger Speicher sein, wie z.B. ein EEPROM oder dergleichen. Bei der Bildeingabeschnittstelle 20 kann es sich beispielswei- se um einen Kippschalter mit einer ersten gekippten Stellung, einer zweiten gekippten Stellung und einer nicht-gekippten Stellung handeln, wobei die ersten beiden Stellungen eine Fern- bzw. Nahaufnahme auslösen könnten und die letztgenannte Stellung ein Ruhe- bzw. ein Don't-Care-Zustand wäre. Der Zuordner 19 würde je nach Auslösestellung die Zuord- nung beispielsweise gemäß Fig. 3b oder 3 a durchführen. Allerdings wäre es auch möglich, dass die Benutzereingabeschnittstelle 20 ein Drehrad wäre oder eine sonstige kontinuierlich veänderliche Benutzerschnittstelle, wie z.B. ein verstellbarer Balken in einer graphischen Benutzerschnittstelle. Im letztgenannten Fall könnte der Zuordner 19 die so getätigte Eingabe auch als kontinuierliche oder quasi-kontinuierliche Angabe der Entfernung ver- wenden, um diese bei der Berechnung der Zuordnung der lateralen Abbildungspositionen in der Schärfentiefenfläche 40 zu verwenden.
Wie im Vorhergehenden ebenfalls erwähnt, kann allerdings auch ein Abstandssensor 20 verwendet werden. Dieser Abstandssensor kann den Abstand der aufzunehmenden Szene auf jedwede Weise erfassen, wie z.B. durch Laufzeitmessung oder dergleichen, aber auch Schätzen, wie z.B. aus den Bildinformationen der einzelnen Teilbilder selbst. Mehr oder weniger quantisiert könnte die so erhaltene Entfernungsmessung wie im Vorhergehenden erwähnt durch den Zuordner 19 verwendet werden, um die ZuOrdnungsvorschrift entsprechend anzupassen.
Nachdem nun im Vorhergehenden bereits einige Ausführungsbeispiele der vorliegenden Anmeldung beschrieben worden sind, werden im Folgenden noch einige Implementierungsdetails geliefert, die möglicherweise verwendet werden könnten, um obige Ausführungsbeispiele umzusetzen.
Dabei wird zunächst noch einmal das im Vorhergehenden beschriebene in anderen Worten wiederholt. Wie es oben beschrieben worden ist, erzeugt die Optik 14 beispielsweise M x N nicht-überlappende Mikrobilder auf dem Sensor 12. Die einzelnen Kanäle der Mikroka- naloptik können beispielsweise einzelne Mikrolinsen 26^263 aufweisen. Jede Mikrolinse bildet einen Raumwinkelbereich I 61-I 63 aus dem Objektraum auf den Sensor ab, wobei, wie es im Vorhergehenden bereits angedeutet worden ist und im Nachfolgenden noch vertieft wird, diese Vereinfachung nur für Objekte gilt, deren Entfernung groß gegenüber dem Mikrolinsenwiederholabstand ist. Die Raumwinkelbereiche 16r163 bzw. Blickfelder der einzelnen Kanäle sind nicht disjunkt, sondern überlappen sich, wie dies in Fig. 1 bei 44 gezeigt ist.
Jeder Bildpunkt 28 innerhalb eines Mikrobildes 24j-243, das wiederum innerhalb des Bereiches liegt, der von der zugeordneten Mikrolinse 26i-263 ausgeleuchtet wird,„sieht" ei- nen kleinen Raumwinkel, in dem er über denselben integriert. In Fig. 5a ist dies exemplarisch sehr vereinfachend für den Teilbereich 241 veranschaulicht. Die Raumwinkel 46, die ein einzelnes der zueinander benachbarten Bildpunkte 28 innerhalb eines Teilbereichs 24) einer Mikrolinse, die in Fig. 5a der Einfachheit halber nicht gezeigt ist, sehen, schließen beispielsweise lückenlos aneinander. Natürlich ist es möglich, dass aufgrund eines begrenzten Füllfaktors der Bildpunkte 28 die Bereiche 46 nicht lückenlos aneinander schließen. Zur Vereinfachung kann aber angenommen werden, dass der Wert eines Bildpunktes 28 einen Messwert für die Strahldichte darstellt, die in Richtung des Strahls in der Mitte des jeweiligen Raumwinkels 46 auf den jeweiligen Bildpunkt 28 fällt. Dies stellt dann die im Vorhergehenden erwähnte Blickrichtung 48 des jeweiligen Bildpunktes 28 dar und ist in Fig. 5b veranschaulicht.
Zur Reduktion der Herstellungskosten kann es sein, dass die Mikrolinsen nicht verzeichnungsfrei sind. Die Bildpunkte tasten daher den Raum gemäß Fig. 3a bzw. 3b nicht gleichmäßig ab; das Gitter, das aus den Blickrichtungen der Pixel in Fig. 3b gebildet wird, ist somit beispielsweise nicht regelmäßig. Zusätzlich kann jede Mikrolinse 26i-263 der Mehrkanaloptik eine eigene Form der Verzeichnung aufweisen, die in Fig. 6 exemplarisch für den Kanal des Bereichs 24] gezeigt ist. Wie es nun im Vorhergehenden beschrieben worden ist, ist es nun aber für die Bildaufnahmevorrichtung 10 möglich, aus den Mikrobildern ein regelmäßiges ansprechendes gemeinsames Bild zu erzeugen.
In einer Ebene gemäß Fig. 3a oder 3b werden die Messwerte, d.h. die Abtastwerte der ein- zelnen Bildpunkte 28, für die Strahldichten aus den Bildpunkten aufgetragen. Die Koordinaten der Messwerte ergeben sich beispielsweise aus der Blickrichtung bzw. der Richtung der optischen Achse der zugehörigen Mikrolinse 26 263 bzw. des jeweiligen Kanals, den Pixelkoordinaten des jeweiligen Bildpunktes unter der jeweiligen Mikrolinse und der Verzeichnung der jeweiligen Mikrolinse und können, wie im Vorhergehenden Bezug nehmend auf Fig. 3a und 3b beschrieben, in Winkeleinheiten oder in kartesischer Form bezogen auf eine Schärfentiefenebene angegeben sein. Die genaue Form der Verzeichnung kann aus dem Optikdesign der Optik 14 ermittelt werden, jedoch auch für ein konkretes physisches System aus Sensor 12 und beispielsweise aufgeklebter Optik 14 gemessen werden. Auf diese Weise erzeugt jede Mikrolinse bzw. jeder Teilbereich des Bildsensors eine kleine Punktwolke auf der Ebene gemäß Fig. 3a und 3b. Jeder - unendlich kleine - Punkt in der Punktwolke stellt einen Messwert der Strahldichte für eine bestimmte Blickrichtung bzw. laterale Bildungsposition in der jeweiligen Schärfentiefenebene dar. Die Strahldichte zwischen den Punkten kann zunächst als unbekannt angenommen werden.
Die Punktwolken benachbarter Mikrolinsen, die in Fig. 3 a und 3 b mit den Umrandungen 34 lediglich hinsichtlich ihrer Außenmaße angedeutet sind, durchdringen sich einander. Das Optikdesign des Mikrolinsensystems kann so gestaltet sein, dass die Punkte der Punktwolken nicht aufeinander fallen, sondern möglichst gleichmäßig auf der Ebene verteilt sind, d.h. auch in dem Bereich, in welchem sich die Teilbildpunktwolken der einzelnen Kanäle überschneiden, wobei ein solcher Überlappbereich in Fig. 3b mit 50 angezeigt ist.
Danach legt der Interpolierer 18 über die so gewonnene Gesamtpunktwolke wie im Vorhergehenden beschrieben ein regelmäßiges kartesisches Gitter 42. Aus den vorhandenen Messwerten wird die Strahldichte an den Kreuzungspunkten des kartesischen Gitters ermit- telt bzw. interpoliert. Beispielsweise können zu jedem Kreuzungspunkt die n nächsten Nachbarn ermittelt werden, wobei deren Strahldichtewerte für eine gewichtete Mittelung verwendet werden. Die Gewichtung bzw. Norm jeden Bildpunktstrahl dichtewerts kann beispielsweise mit dem Inversen des Abstandes oder dem Inversen des Quadrats des Ab- standes erfolgen.
Die Ermittlung der nächsten Nachbarn kann z.B. durch Durchsuchen aller Punkte der Punktwolke erfolgen. Teilt man die Punkte vorher in verschiedene Bereiche, sogenannte Bins, auf, kann das die Suche beschleunigen. Eine schnellere Alternative ist es, zwischen den Bildpunkten der Wolke eine Triangulation aufzuspannen, optimalerweise eine Delau- nay-Triangulation. Das Finden der nächsten Nachbarn eines beliebigen Punktes in einer Delaunay-Triangulation ist vergleichsweise schnell. Insbesondere kann der folgende Algorithmus, beschrieben durch einen Pseudocode, verwendet werden, um die Punktwolke zu generieren und zu interpolieren. // Erzeuge Punktwolke
für j ede Farbe
PunktWolke (Farbe) . init ( )
für j edes Mikrobild
für jeden Bildpunkt in Mikrobild
falls (FarbevonBildpunkt (Bildpunkt) = Farbe)
BlickRichtung = BerechneBlickRichtungdesPixels (Mikrolinse, PositionlnLinse (Bildpunkt ) )
PunktWolke (Farbe ) . Hinzufügen (BlickRichtung, StrahldichteVonBildpunkt (Bildpunkt) ) Ende falls
Ende für
Ende für
Ende für
// Ergebnis: drei Bildwolken mit Strahldichteinformationen
// Interpolation
InterpoliertesBild . init ( )
für jede Farbe
für x = 0 bis BildBreite
für y = 0 bis BildHöhe
Nachbarn = PunktWolke ( Farbe ). findeNächstenNachbarn (x, y)
für jeden Nachbarn in Nachbarn
Gewicht = BerechneNorm (Nachbar, x, )
InterpoliertesBild (Farbe, , y) += Gewichtung * Nachbar . Strahldichte;
Ende für
Ende für
Ende für
Ende für
// Ergebnis: Interpoliertes Bild
Um obigen Pseudocode zu erklären, wird wieder kurz auf obige Figuren zusammen mit Fig. 7 Bezug genommen. Die erste Für-Schleife in dem Punktwolkenerzeugungspro- grammcode geht die einzelnen Farben der Bildpunkte durch. Es wird also für jede Farbe eine Gesamtwolke erzeugt. Die zweite Für-Schleife durchläuft alle Mikrobilder 24r243. Die dritte Für-Schleife, d.h. die innerste, durchläuft alle Bildpunkte 28 in dem aktuellen Mikrobild 24j-243. Durch die innerste Falls- Abfrage wird überprüft, ob der aktuell gesuch- te Bildpunkt die aktuelle Farbe besitzt. Falls dies der Fall ist, wird seine Blickrichtung berechnet, und zwar unter Verwendung der Referenz auf den jeweiligen Kanal bzw. die jeweilige Mikrolinse und die Pixelposition innerhalb des Mikrobildes, und die Strahldichte des aktuell gesuchten Bildpunktes wird in der Ebene gemäß Fig. 3 a bzw. 3b an der entsprechenden Stelle eingetragen. In diesem exemplarischen Fall wurde von der Blickrich- tung ausgegangen, d.h. von der Ebene gemäß Fig. 3b.
Der zweite Programmabschnitt beschäftigt sich mit der eigentlichen Interpolation. Die äußerste Für-Schleife durchläuft wieder die einzelnen Farben. Für jede Farbe wird nun einmal das regelmäßige kartesische Gitter 42 durchlaufen, nämlich seine Kreuzungspunkte 52. BildBreite und BildHöhe geben somit die Bildhöhe und die Bildbreite des gewünschten Gesamtbildes an, das später am Ausgang 22 ausgegeben werden soll. Nach den entsprechenden zwei Für-Schleifen werden zunächst die Nachbarn für diesen Gitterpunkt 52 bestimmt. Die vier nächsten Nachbarn des exemplarischen in Fig. 7 angezeigten Kreuzungspunktes 52 des Gitters 42 wären beispielsweise die mit 1, 2, 3 und 4 angezeigten Bildpunk- te. Die innerste Für-Schleife durchläuft all diese Nächstnachbarbildpunkte, berechnet für jeden dieser Bildpunkte eine Gewichtung gemäß einer geeigneten Abstandsnorm zum ak- tuellen Gitterpunkt 52 und bildet eine entsprechend gewichtete Summe der Strahldichte dieser Bildpunktnachbarn, um zu interpolierten Werten an der Stelle des aktuellen Kreuzungspunktes 52 zu gelangen. Auf diese Weise wird für alle Kreuzungsgitterpunkte 52 ein interpolierter Wert bestimmt, und zwar für alle Farben, so dass für ein Gitter 42 für jeden Gitterkreuzungspunkt 52 ein mehrkomponentiger Farbwert entsteht.
Im Folgenden werden noch ein paar Alternativen zu der bisherigen Beschreibung erwähnt. Wie es im Vorhergehenden beschrieben worden ist, kann jeder Kanal individuell gefiltert sein. Es ist aber auch möglich, dass der Bildsensors 12 mit einem geeigneten Farbfüterar- ray abgedeckt ist, wie z.B. gemäß einem Bayer-Muster. Auf diese Weise kann die spektrale Strahldichte des Gesamtbildes für einige, üblicherweise drei Wellenlängen-Bänder gemessen werden. Die Dichte der Messpunkte in einem einzelnen Band sinkt naturgemäß. Bei einem Bayer-Muster ist sie für Grün halbiert und für Rot und Blau geviertelt. Wie im Vorhergehenden beschrieben wird dann beispielsweise eine Punktwolke pro Farbkanal erzeugt. Aus der entsprechenden Interpolation in der Grün-Punktwolke ergibt sich der Grünkanal des fertigen Bildes, analog für Rot und Blau. Zusammen ergeben die Kanäle das fertige Farbbild.
Als Verbesserung ist es möglich, dass die Messpunkte aus dem Grünkanal zur Interpolati- on der Rot- und Blaukanäle herangezogen werden und umgekehrt.
Wie es ebenfalls im Vorhergehenden bereits beschrieben worden ist, können Parallax- Effekte dafür verantwortlich sein, dass, wenn die Entfernung des abzubildenden Objekts nicht groß gegenüber dem Mikrolinsenwiederholabstand ist, die Vereinfachung nicht mehr zutrifft, wonach der Parallax-Term vernachlässigbar ist. Zusätzlich zur Blickrichtung 48 eines Pixels ist in diesem Fall auch dessen Position auf dem Bildsensor relevant. Um dies zu veranschaulichen, sei noch kurz auf Fig. 8 Bezug genommen, die oben den Fall veranschaulicht, dass das Objekt korrekt im Fernabstand angeordnet ist, d.h. das Objekt ausreichend weit vom Bildsensors 12 angeordnet ist und auch angenommen wird, dass das auf- zunehmende Objekt in diesem Fernabstand angeordnet ist, d.h. die Zuordnung gemäß Fig. 3b verwendet wird, wobei unten der Fall veranschaulicht ist, dass das Objekt zu nah angeordnet ist, obwohl angenommen wird, dass es im Fernabstand positioniert ist. Bei 54 ist jeweils veranschaulicht, wie die abgetasteten Punkte A-V des Objektes an den Stellen, an denen das Objekt durch die Blickrichtungen 48 getroffen wird, im fertigen Bild umsortiert werden. Wie es zu sehen ist, bleibt die Reihenfolge der Punkte A-V auf dem Objekt in dem Fall der korrekten Positionierung des Objektes in dem fertigen Bild bestehen, wohingegen in dem Fall der inkorrekten Anordnung, d.h. zu nah am Bildsensors 12, die Reihenfolge der Objektpunkte durcheinander gerät. Der Interpolierer 18 ist somit in der Lage, ein ansehnliches, hochaufgelöstes Bild ohne Diskontinuitäten zusammenzusetzen, wenn obige Ausführungsbeispiele verwendet werden. Messwerte von nebeinanderliegenden Punkten auf einem Objekt bleiben auch im fertigen Bild nebeneinanderliegen, solange die Bildaufnahmevorrichtung vorgabemäßig verwendet wird bzw. obige Einstellungsmöglichkeiten verwendet werden. In noch mal anderen Worten ausgedrückt, kann die Objektentfernung einer Anordnung der Messpunkte auf der Bildebene zu berücksichtigen sein. Im einfachsten Fall kann eine feste Objektentfernung angenommen werden. Denkbar ist außerdem eine Entfernungsschätzung bzw. -messung und eine dementsprechende Behandlung der Messpunkte, wie es im Vorhergehenden beschrieben worden ist.
Im Vorhergehenden bezog sich die Beschreibung vornehmlich auf eine Bildaufnahmevorrichtung mit Blickfeldvergrößerung durch Aufteilung in mehrere Kanäle mit kleineren Blickwinkeln, die sich gegeneinander überschneiden. Die vorliegende Anmeldung ist dabei auch für andere Anwendungen denkbar, bei denen beispielsweise eine Szene aus unterschiedlichen Blickwinkeln mit sich im Wesentlichen überlappenden Einzelkanalbildfeldern betrachtet wird. Bei den obigen Ausführungsbeispielen kann für die Mehrkanaloptik ein gechirptes Mikro- linsenarray verwendet werden, d.h. ein Mikrolinsenarray, dessen Linsenscheitel laterale Positionen aufweisen, die gegenüber den Mittenpositionen der entsprechenden Teilbereiche beispielsweise zentrisch gestreckt positioniert oder anders verschoben sind. Fig. 4 zeigt exemplarisch ein mögliches Beispiel für eine feste Anordnung mit festem Abstand zwi- sehen Bildsensor 12 und Mikrolinsenarray 14. Der Bildsensors 12 ist beispielsweise ein CMOS-Bildsensors oder ein anderer Halbleitersensor. Auf dem Substrat 12 sind mehrere Glassubstrate 60, 62 und 64 mit dazwischen angeordneten Membranarrays 66 und 68 zur Kanaltrennung und Streulichtabsorption angeordnet. Auf dem obersten Glassubstrat 60 sind die Mikrolinsen 26i-265 gebildet. Wie es zu ersehen ist, ist der Scheitelwiederholab- stand der Mikrolinsen größer als der Mittenwiederholabstand der Teilbereiche 24^245, wodurch die Vergrößerung des Gesamtblickfeldes bzw. das Auseinanderlaufen der zentralen Blickrichtungen 70r705 der einzelnen Kanäle entsteht. Das Beispiel für einen Aufbau gemäß Fig. 4 kann beispielsweise im Wafer- Verbund hergestellt werden, nämlich mit anschließendem Dicen der einzelnen Kameras, d.h. den einzelnen Verbünden aus Bildsensor und Mikrolinsenarray. Im Rahmen einer plenoptischen Kamera könnten obige Ausfuhrungsbeispiele auch verwendet werden, indem bei den oben gezeigten Ausfuhrungsbeispielen dem Mikrolinsenar- ray eine Primäroptik hinzugefügt wird. Zu obigen Ausf hrungsbeispielen sei noch erwähnt, dass die Kanäle der oben gezeigten Mikrolmsenarrays gleich sein können oder zueinander in lateraler Richtung bzw. über das Feld hinweg unterschiedlich bzw. gechirpt sein können. Ein Kanal kann wiederum von einer Einzellinse, wie in Fig. 4 exemplarisch dargestellt, oder einem Linsensystem abgebildet werden. Statt eines Mikrolmsenarrays könnte auch ein Blenden- Array zur Abbildung verwendet werden oder eine Kombination von beidem. In beiden Fällen ließe sich die Blickrichtung jedes Pixels ermitteln, damit diese in eine Punktwolke überfuhrt werden können, auf der sich die oben genannte Interpolation durchfuhren lässt.
Bei obigen Ausführungsbeispielen wird folglich inhärent eine Invertierung der Einzelbil- der, eine Entzerrung derselben und eine Parallax-Korrektur in einem Schritt durchgeführt, was die Verarbeitung beschleunigt. Die Bildinformationen werden in einem Schritt zu einem Gesamtbild kombiniert und Interpolationszwischenschritte entfallen, was wiederum die Qualität des Gesamtbildes verbessert, da sich die Bildschärfe erhöht und Artefakte reduziert werden. Obige Ausführungsbeispiele sind für Sensoren mit Filtern geeignet. Dabei wäre es möglich, unter jeder Mikrolinse ein Farbfilterarray zu verwenden, oder unter jeder Mikrolinse ein Filter von genau einer Farbe zu platzieren. Letztgenannte Filter können RGB-Farbfilter sein und es ist auch möglich, zusätzliche Farben zu verwenden, z.B. RGB + Grau oder RGB + Zyan. Die Verwendung von Polarisationsfiltern oder Grau- bzw. Neutraldichtefiltern verschiedener Dichte ist ebenfalls möglich.
Somit ist es möglich, die Aufnahme von Farbbildern zu ermöglichen. Außerdem ist es möglich, Aufnahmen von Bildern mit Zusatzinformationen zu erzeugen, wie z.B. weitere spektrale Bilder im Bereich der Multispektralen Abbildung, Polarisationsinformationen, mehr Dynamikumfang usw.
Durch obige Ausführungsbeispiele wird es auch ermöglicht, dass nicht nur die Teilbilder zueinander global registriert werden, sondern jeder Bildpunkt des Bildes zu anderen. Eine Verzeichnung der Mikrobilder wird inhärent automatisch ausgeglichen. Verschiedene Mikrobilder können somit auch unterschiedlich verzeichnet sein, was die Anforderungen an das optische System deutlich reduziert. Die Optik 14 kann einfacher aufgebaut und kleiner/flacher sein, die Herstellungstoleranzen können größer sein und all das reduziert somit auch die Herstellungskosten der obigen Ausführungsbeispiele und verringert die Baugröße. Obige Ausführungsbeispiele können bei Kamerasystemen in vielen Anwendungsgebieten eingesetzt werden, wie z.B. beim Mobiltelefonen, Videokonferenzsystemen, im Bereich medizinischer Anwendungen, in der Robotik, in Machine- Vision-Anwendungen, in Fahrzeugkameras und bei der Fernerkundung, speziell im Bereich der Multispektralabbildung. Aus Systemsicht sind obige Ausführungsbeispiele anwendbar bei Kameras mit Multiaper- turabbildungssystemen und Kamera-Arrays, d.h. Systemen mit mehreren Kameras. In anderen Worten ausgedrückt, könnte jeder der obigen Kanäle natürlich auch einzeln aus einer Kamera gebildet sein, in welchem Fall oben genannter Bildsensor 12 in die einzelnen Chips der Kameras zerfiele, die jeweils einzeln für sich die Teilbereiche 24i-243 bildeten, und die Optik 14 in einzelne Objektive der Kameras.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein ent- sprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Je nach bestimmten Implementierungsanforderungen können Ausfuhrungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuer- signale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. Andere Ausfuhrungsbeispiele umfassen das Computerprogramm zum Durchfuhren eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchfuhren eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Ein weiteres Ausfuhrungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durch- führen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerpro- gramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
Bei manchen Ausfuhrungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausfuhrungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Va- riationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsen- tiert wurden, beschränkt sei.

Claims

Patentansprüche
Bildaufnahmevorrichtung mit einem Bildsensor mit einer Vielzahl von Bildpunkten, der ausgebildet ist, um in einer Aufnahme einen Abtastwert pro Bildpunkt zu erfassen; einer Optik zur Erzeugung einer optischen Abbildung auf den Bildsensor, wobei die Optik eine Mehrkanaloptik zum individuellen Abbilden sich überlappender Raumwinkelbereiche auf separate Teilbereiche des Bildsensors umfasst, und wobei jedem Bildpunkt des Bildsensors ein Abbildungswert zugeordnet ist, wobei die Abbildungswerte Abbildungsrichtungen sind, von der aus die Optik Objekte auf den jeweiligen Bildpunkt abbildet, oder laterale Abbildungspositionen in einer Schärfentiefenfläche, die die Optik auf den jeweiligen Bildpunkt abbildet; und einem Interpolator zum Interpolieren einer Verteilung der Abtastwerte der Bildpunkte gemäß ihren Abbildungswerten an Kreuzungspunkten eines regelmäßigen, sich über die gesamte Verteilung der Abtastwerte erstreckenden Gitters, um ein Ar- ray von Bildwerten zu erhalten.
Bildaufnahmevorrichtung gemäß Anspruch 1, bei der die Mehrkanaloptik so ausgebildet ist, dass die sich überlappenden Raumwinkelbereiche zusammen einen Gesamtraumwinkelbereich abdecken, der höchstens 120% größer ist als jeder der sich überlappenden Raumwinkelbereiche.
Bildaufnahmevorrichtung gemäß Anspruch 1 , bei der die Mehrkanaloptik so ausgebildet ist, dass die sich überlappenden Raumwinkelbereiche zusammen einen Gesamtraumwinkelbereich abdecken, der mindestens viermal größer ist als jeder der sich überlappenden Raumwinkelbereiche.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 3, bei der die Optik so ausgebildet ist, dass die individuellen Abbildungen zueinander unterschiedlich, aber jede für sich lateral konstant spektral-, polarisations- oder neutraldichtegefiltert sind, wobei der Interpolator ausgebildet ist, um die Interpolation individuell für eine Verteilung der Abtastwerte solcher Bildpunkte durchzuführen, die zu Teilbereichen gehören, bei denen die jeweilige individuelle Abbildung auf dieselben gleich gefiltert ist.
5. Bildaufnahmevorrichtung gemäß Anspruch 4, bei der der Interpoiator ausgebildet ist, um bei der individuellen Interpolation der Verteilung der Abtastwerte solcher Bildpunkte, die zu Teilbereichen gehören, bei denen die jeweilige individuelle Abbildung auf dieselben gleich gefiltert ist, auch die Verteilung von Abtastwerten von Bildpunkten zu berücksichtigen, die zu Teilbereichen gehören, bei denen die jeweilige individuelle Abbildung auf dieselben anders gefiltert ist.
6. Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 3, bei der die Bildpunkte des Bildsensors Bildpunktgruppen aufweisen, die zueinander unterschiedliche spektrale, Polarisations- und/oder Neutraldichteempfindlichkeit aufweisen, wobei jeder Teilbereich des Bildsensors zumindest Bildpunkte aus zwei verschiedenen der Bildpunktgruppen aufweist, und wobei der Interpoiator ausgebildet ist, um die Interpolation individuell für die Bildpunktgruppen durchzuführen.
7. Bildaufnahmevorrichtung gemäß einem der Ansprüche 4 bis 6, bei der der Interpoiator ausgebildet ist, um für die individuellen Filterungen das gleiche regelmäßige Gitter lagegleich zu verwenden.
8. Bildaufnahmevorrichtung gemäß einem der vorhergehenden Ansprüche, die ferner einen Zuordner aufweist, der ausgebildet ist, um, für einen vorbestimmten Bildpunkt des Bildsensors, durch Berechnung anhand einer Lageinformation bezüglich des vorbestimmten Bildpunkts auf dem Bildsensor oder durch Nachschlagen anhand einer Referenz auf den vorbestimmten Bildpunkt den dem vorbestimmten Bildpunkt zugeordneten Abbildungswert zu ermitteln.
9. Bildaufnahmevorrichtung gemäß Anspruch 8, die ferner eine Eingabeschnittstelle und/oder einen Entfernungsschätzer aufweist, die/der so ausgebildet ist, um für die Aufnahme zumindest zwischen einer Nahaufnahme und einer Fernaufnahme zu diskriminieren, wobei der Zuordner ausgebildet ist, um in dem Fall einer Nahaufnahme die Ermittlung unter Berücksichtigung von Parallax-Effekten so durchzuführen, dass die Abbildungswerte laterale Abbildungspositionen in der Schärfentiefenfläche sind, und in dem Fall einer Fernaufnahme die Ermittlung unter Vernachlässigung von Parallax-Effekten so durchzuführen, dass die Abbildungswerte Abbildungsrichtungen sind.
10. Bildaufnahmevorrichtung gemäß Anspruch 8 oder 9, die ferner eine Eingabeschnittstelle und/oder einen Entfernungsschätzer aufweist, die/der so ausgebildet ist, um für die Aufnahme eine Aufnahmeentfernung zu bestimmen, wobei der Zu- ordner ausgebildet ist, um die Ermittlung abhängig von der Aufnahmeentfernung durchzuführen.
Bildaufnahmevorrichtung gemäß Anspruch 8 oder 9, bei der die Bildaufnahmevorrichtung so ausgebildet ist, dass durch die Zuordnung der Abbildungswerte zu den Bildpunkten in dem Array von Bildwerten eine Verzeichnung der Optik ausgeglichen ist.
Bildaufnahmevorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Mehrkanaloptik eine Mahrzahl von Mikrolinsen aufweist, und die Zuordnung einer jeweiligen Abbildungswerts zu jedem Bildpunkt des Bildsensors abhängig von einer Richtung einer optischen Achse der Mikrolinsen der Mehrkanaloptik, Pixelkoordinaten der Bildpunkte unter den Mikrolinsen und einer Verzeichnung der Mikrolinsen ist.
Bildaufnahmevorrichtung gemäß einem der vorhergehenden Ansprüche, bei der der Interpolator ausgebildet ist, um zu jedem Kreuzungspunkt nächste Nachbarn unter der Verteilung von Abtastwerten zu finden und eine gewichtete Mittelung über die Abtastwerte mit einer Gewichtung, die dem Inversen des Abstands oder dem Inver- sen des Quadrats des Abstands zwischen dem jeweiligen Kreuzungspunkt und den den nächsten Nachbarn zugeordneten Abbildungswerten entspricht, durchzuführen.
Bildaufnahmevorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Mehrkanaloptik ein Array von Mikrolinsen aufweist, und ein Abstand der Optik von dem Bildsensor gleich oder größer als eine Brennweite der Mikrolinsen ist, und wobei ein mittlerer Abstand von Scheiteln der Mikrolinsen gegenüber einem Mittenabstand der Teilbereiche des Bildsensors vergrößert ist.
Verfahren zum Aufnehmen eines Bilds mittels eines Bildsensors mit einer Vielzahl von Bildpunkten, der ausgebildet ist, um in einer Aufnahme einen Abtastwert pro Bildpunkt zu erfassen, und einer Optik zur Erzeugung einer optischen Abbildung auf den Bildsensor, wobei die Optik eine Mehrkanaloptik zum individuellen Abbilden sich überlappender Raumwinkelbereiche auf separate Teilbereiche des Bildsensors umfasst, mit
Zuordnen, zu jedem Bildpunkt des Bildsensors, eines Abbildungswerts, wobei die Abbildungswerte Abbildungsrichtungen sind, von der aus die Optik Objekte auf den jeweiligen Bildpunkt abbildet, oder laterale Abbildungspositionen in einer Schärfentiefenfläche, die die Optik auf den jeweiligen Bildpunkt abbildet; und
Interpolieren einer Verteilung der Abtastwerte der Bildpunkte gemäß ihren Abbildungswerten an Kreuzungspunkten eines regelmäßigen, sich über die gesamte Verteilung der Abtastwerte erstreckenden Gitters, um ein Array von Bildwerten zu erhalten.
16. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 15, wenn das Programm auf einem Computer abläuft.
PCT/EP2011/062266 2010-07-19 2011-07-18 Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes WO2012019875A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013520113A JP5649091B2 (ja) 2010-07-19 2011-07-18 画像キャプチャ装置および画像キャプチャ方法
KR1020137004041A KR101517704B1 (ko) 2010-07-19 2011-07-18 이미지를 기록하기 위한 이미지 기록 장치 및 방법
EP11732490.5A EP2596642B1 (de) 2010-07-19 2011-07-18 Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102010031535.4 2010-07-19
DE102010031535A DE102010031535A1 (de) 2010-07-19 2010-07-19 Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US13/098,208 2011-04-29
US13/098,208 US8717485B2 (en) 2010-07-19 2011-04-29 Picture capturing apparatus and method using an image sensor, an optical element, and interpolation

Publications (1)

Publication Number Publication Date
WO2012019875A1 true WO2012019875A1 (de) 2012-02-16

Family

ID=44628526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/062266 WO2012019875A1 (de) 2010-07-19 2011-07-18 Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes

Country Status (6)

Country Link
US (1) US8717485B2 (de)
EP (1) EP2596642B1 (de)
JP (1) JP5649091B2 (de)
KR (1) KR101517704B1 (de)
DE (1) DE102010031535A1 (de)
WO (1) WO2012019875A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035427A1 (ja) * 2011-09-09 2013-03-14 富士フイルム株式会社 立体撮像装置および方法
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
DE102012218834B4 (de) * 2012-10-12 2016-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und system zur optischen abbildung
DE102013200059B4 (de) * 2013-01-04 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds und plenoptische Kamera
WO2014133481A1 (en) * 2013-02-26 2014-09-04 Hewlett-Packard Development Company, L.P. Multiview 3d telepresence
DE102013209240A1 (de) 2013-05-17 2014-11-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bildverflechtung ohne Speicherpuffer
WO2015050499A1 (en) * 2013-10-01 2015-04-09 Heptagon Micro Optics Pte. Ltd. Lens array modules and wafer-level techniques for fabricating the same
DE102013226789B4 (de) 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
WO2015134940A1 (en) * 2014-03-07 2015-09-11 Shiloh Industries, Inc. High-performance tool cooling system
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
JP6536877B2 (ja) * 2014-07-31 2019-07-03 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
KR102659065B1 (ko) * 2015-12-21 2024-04-22 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵의 처리
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
EP3264755A1 (de) * 2016-06-30 2018-01-03 Thomson Licensing Ansichtsmischung durch plenoptische unterblendenöffnungen für abtastung satterer farben
US20190028623A1 (en) * 2017-07-21 2019-01-24 California Institute Of Technology Ultra-thin planar lens-less camera
US11882371B2 (en) 2017-08-11 2024-01-23 California Institute Of Technology Lensless 3-dimensional imaging using directional sensing elements
DE102018202728B4 (de) * 2018-02-22 2019-11-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb eines Teilchenstrahlgeräts, Computerprogrammprodukt und Teilchenstrahlgerät zur Durchführung des Verfahrens
EP4139893A4 (de) * 2020-04-24 2024-04-17 Visionary Machines Pty Ltd Systeme und verfahren zur erzeugung und/oder verwendung dreidimensionaler informationen mit kameraarrays
US11328150B2 (en) 2020-04-30 2022-05-10 Omnivision Technologies, Inc. Lens-array imager
CN113079365B (zh) * 2021-03-26 2022-09-09 中国人民解放军陆军装甲兵学院 基于移轴相机的集成成像单元图像阵列生成方法和系统
EP4330917A1 (de) * 2021-04-30 2024-03-06 Visionary Machines Pty Ltd Systeme und verfahren zur erzeugung und/oder verwendung dreidimensionaler informationen mit einer oder mehreren kameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06292050A (ja) * 1993-03-30 1994-10-18 Canon Inc 信号合成方法，信号合成装置および該装置を有する複眼撮像装置
EP0840502A2 (de) * 1996-11-04 1998-05-06 Eastman Kodak Company Kompakte Digitalkamera mit segmentierten Blickfeldern
US20010013807A1 (en) 1999-12-24 2001-08-16 Essink Berend Hendrik Polyphase filter
EP1912434A1 (de) * 2005-07-26 2008-04-16 Matsushita Electric Industrial Co., Ltd. Verbundaugen bildgebungsvorrichtung
US20090245696A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822125A (en) 1996-12-20 1998-10-13 Eastman Kodak Company Lenslet array system
JP3821614B2 (ja) * 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
JP2001223931A (ja) 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
US7431529B1 (en) 2002-12-06 2008-10-07 Loctite (R & D) Limited Nozzle assembly incorporating a molded flow through brush applicator and a reusable break-off cap, a container having a nozzle assembly and packaging therefor
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
DE102004036469A1 (de) 2004-07-28 2006-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung
US20060044451A1 (en) * 2004-08-30 2006-03-02 Eastman Kodak Company Wide angle lenslet camera
US7880794B2 (en) * 2005-03-24 2011-02-01 Panasonic Corporation Imaging device including a plurality of lens elements and a imaging sensor
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7286295B1 (en) * 2005-11-30 2007-10-23 Sandia Corporation Microoptical compound lens
DE102006004802B4 (de) 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
US8243157B2 (en) * 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
JP4638361B2 (ja) 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
US7423821B2 (en) * 2006-03-24 2008-09-09 Gentex Corporation Vision system
JP4866147B2 (ja) 2006-05-22 2012-02-01 株式会社リコー 画像シフト検出方法および装置および画像入力装置
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
DE102007045525A1 (de) 2007-09-24 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor
JP4941332B2 (ja) * 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
JP2009206922A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
EP2289235A4 (de) 2008-05-20 2011-12-28 Pelican Imaging Corp Aufnahme und verarbeitung von bildern mittels monolithischer kamera anordnung mit heterogenem bildwandler
US20100028839A1 (en) 2008-07-18 2010-02-04 Tully Timothy P Methods and systems for evaluating memory agents
JP2010141381A (ja) 2008-12-09 2010-06-24 Olympus Corp 撮像装置及び電子機器
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
JP5538811B2 (ja) * 2009-10-21 2014-07-02 キヤノン株式会社 固体撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06292050A (ja) * 1993-03-30 1994-10-18 Canon Inc 信号合成方法，信号合成装置および該装置を有する複眼撮像装置
EP0840502A2 (de) * 1996-11-04 1998-05-06 Eastman Kodak Company Kompakte Digitalkamera mit segmentierten Blickfeldern
US20010013807A1 (en) 1999-12-24 2001-08-16 Essink Berend Hendrik Polyphase filter
EP1912434A1 (de) * 2005-07-26 2008-04-16 Matsushita Electric Industrial Co., Ltd. Verbundaugen bildgebungsvorrichtung
US20090245696A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BRÜCKNER, DUPARRE, DANNBERG, LEITEL, BRÄUER: "Driving Microoptical Image System towards Miniature Camera Applications, Micro-Optic 2010, Proceedings of SPIE", vol. 7716, article "Toleranzen beim Zusammenbau von Bildsensor und Mikrolinsenarray"
EUNCHEOL CHOI ET AL: "Super-resolution approach to overcome physical limitations of imaging sensors: an overview", INTERNATIONAL JOURNAL OF IMAGING SYSTEMS AND TECHNOLOGY, WILEY AND SONS, NEW YORK, US, vol. 14, no. 2, 1 January 2004 (2004-01-01), pages 36 - 46, XP002504039, ISSN: 0899-9457, DOI: 10.1002/IMA.20006 *
FOOTE J ET AL: "FlyCam: practical panoramic video and automatic camera control", MULTIMEDIA AND EXPO, 2000. ICME 2000. 2000 IEEE INTERNATIONAL CONFEREN CE ON NEW YORK, NY, USA 30 JULY-2 AUG. 2000, PISCATAWAY, NJ, USA,IEEE, US, vol. 3, 30 July 2000 (2000-07-30), pages 1419 - 1422, XP010512772, ISBN: 978-0-7803-6536-0, DOI: 10.1109/ICME.2000.871033 *
KITAMURA Y ET AL: "Reconstruction of a high-resolution image on a compound-eye image-capturing system", APPLIED OPTICS, OPTICAL SOCIETY OF AMERICA, WASHINGTON, DC; US, vol. 43, no. 8, 10 March 2004 (2004-03-10), pages 1719 - 1727, XP002628317, ISSN: 0003-6935, DOI: 10.1364/AO.43.001719 *
MIN LI ET AL: "Reconstruction of Bionic Compound Eye Images Based on Superresolution Algorithm", INTEGRATION TECHNOLOGY, 2007. ICIT '07. IEEE INTERNATIONAL CONFER ENCE ON, IEEE, PI, 1 March 2007 (2007-03-01), pages 706 - 710, XP031127194, ISBN: 978-1-4244-1091-0 *
VAISH V ET AL: "Using plane + parallax for calibrating dense camera arrays", PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 27 JUNE-2 JULY 2004 WASHINGTON, DC, USA, PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION IEEE COMP, vol. 1, 27 June 2004 (2004-06-27), pages 2 - 9, XP010708981, ISBN: 978-0-7695-2158-9, DOI: 10.1109/CVPR.2004.1315006 *

Also Published As

Publication number Publication date
JP5649091B2 (ja) 2015-01-07
KR101517704B1 (ko) 2015-05-04
KR20130038388A (ko) 2013-04-17
US8717485B2 (en) 2014-05-06
EP2596642B1 (de) 2017-10-25
EP2596642A1 (de) 2013-05-29
JP2013534379A (ja) 2013-09-02
DE102010031535A1 (de) 2012-01-19
US20120013749A1 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
EP2596642B1 (de) Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes
DE102017206442B4 (de) Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE69826886T2 (de) Optoelektronische kamera und verfahren zur bildformatierung
DE102006004802B4 (de) Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
DE112013004640B4 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm und Bildaufnahmevorrichtung mit der Bildverarbeitungsvorrichtung
EP2428034B1 (de) Vorrichtung zur optischen abbildung
DE102016102111A1 (de) Bildsensor und bildgebende Vorrichtung mit demselben
DE102013226789B4 (de) Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
DE102016208210A1 (de) 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
DE3931934A1 (de) Bild-ein-/ausgabevorrichtung
DE102021116512A1 (de) Spektrales sensorsystem mit optischen filter-unterarrays
DE112017007695T5 (de) Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium
DE112012002652T5 (de) Abbildungsgerät
EP3900317B1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zur erzeugung einer tiefenkarte
EP3900318B1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zum akkumulieren von bildinformation
DE102016114025A1 (de) Steuervorrichtung, Bildaufnahmevorrichtung, Steuerverfahren, Programm und Speichermedium
DE102018132973A1 (de) Bildsensoren mit kalibrierten Phasendetektionspixeln
DE102019008472A1 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
WO2017137476A1 (de) Mehrwege-prisma
JP6467997B2 (ja) ライトフィールド撮像システム
DE102013200059B4 (de) Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds und plenoptische Kamera
DE102004018182B4 (de) Vorrichtung und Verfahren zur Erzeugung einer Abbildung einer Objektszene
EP4351159A1 (de) Bildsensor
WO2022063806A1 (de) Verfahren zur erstellung einer bildaufzeichnung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11732490

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013520113

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20137004041

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2011732490

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011732490

Country of ref document: EP