WO2012149927A1 - Bildsensor mit einstellbarer auflösung - Google Patents

Bildsensor mit einstellbarer auflösung Download PDF

Info

Publication number
WO2012149927A1
WO2012149927A1 PCT/DE2012/100070 DE2012100070W WO2012149927A1 WO 2012149927 A1 WO2012149927 A1 WO 2012149927A1 DE 2012100070 W DE2012100070 W DE 2012100070W WO 2012149927 A1 WO2012149927 A1 WO 2012149927A1
Authority
WO
WIPO (PCT)
Prior art keywords
image sensor
sensor elements
groups
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2012/100070
Other languages
English (en)
French (fr)
Inventor
Dieter KRÖKEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112012000537T priority Critical patent/DE112012000537A5/de
Publication of WO2012149927A1 publication Critical patent/WO2012149927A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Definitions

  • the invention relates to an image sensor and to a method for operating an image sensor, wherein the image sensor has a multiplicity of sensor elements arranged in matrix form, to which color filters are assigned and which are divided into groups.
  • Driver assistance systems used with sensor devices often use a camera system as environment sensor, for example, to detect a variety of objects in the environment of the vehicle.
  • the camera systems employed typically use an image sensor (e.g., a CMOS or CCD image chip) mounted in a camera body behind an imaging system, e.g. a lens is arranged.
  • an image sensor e.g., a CMOS or CCD image chip
  • a camera system of this type is known for example from DE 30 21 470 C2.
  • the system described therein has an image sensor with a plurality of picture elements, which are arranged in rows and columns and detect electromagnetic radiation which is projected by means of a shareholders' chanc ective on the image sensor.
  • image sensors are already known which are able to recognize colors, e.g. by means of
  • CMOS image sensor includes a sub-layer or substrate having photodiode regions and metal lines formed in a semiconductor substrate to generate charges in response to incident light Dielectric interlayer formed on the entire surface of the underlayer, color filter layers of red, green and blue formed on the dielectric interlayer to respectively pass light of particular wavelengths to the photodiode regions
  • Planarization layer formed on the color filter layers and convex microlenses having a certain curvature and formed on the planarization layer for converging light to its corresponding color filter in the color filter layers and thereby converging color separated light on the photodiode areas to let.
  • image sensors with color detection (color image) and with a resolution (number of pixels) of significantly larger than one megapixel are increasingly needed.
  • image sensors which are usually provided with a Bayer color filter (Bayer pattern), so-called "binning" several pixels -typically 2 or 4 pixels, for example by adding the brightness values, either analogously by charge addition or charge transport or digital by adding the digitized values, interconnected to a pixel and thus evaluated summarized become.
  • the photosensitivity of the image sensor can be increased, the resolution and at the same time the required computing power can be reduced and, among other things, the noise ratio can be improved.
  • Such image sensors which allow a variable resolution, are usually operated completely in high-resolution mode (without binning) or in low-resolution mode (with binning).
  • the disadvantage here is that either in high-resolution mode constantly a greatly increased computing power for image processing is required or in low-resolution mode, the color information is lost.
  • K. Hara et al proposed a solution to preserve the color information when reducing CIF format to QCIF, but this requires a relatively complex circuit and the sensitivity of the image sensor is lowered by the method as a whole.
  • the invention is therefore an object of the invention to provide an image sensor and a method for its operation to meet the future requirements of camera systems, especially for use as sensor systems in vehicles, the described problems and disadvantages of known systems are avoided.
  • An essential idea of the invention is to design a high-resolution image sensor, ie an image sensor comprising a multiplicity of photosensitive sensor elements, with a color filter such that in each case arrays of preferably 2 ⁇ 2 sensor elements with identical color filters lie next to one another.
  • the image sensor is operated in such a way that in normal operation the sensor elements are interconnected according to groups (arrays of adjacent sensor elements each having identical filter properties) and the image sensor thus has a reduced resolution compared to the absolute number of sensor elements. For arrays with 2 x 2 sensor elements, the image sensor therefore has a 4-fold reduced resolution.
  • color resolution can be achieved by means of demosaicing, as in known image sensors, and at the same time computing power can be saved if high resolution is not required. Is it, however, for example, for the detection of object details required, for example, in the detection of additional traffic signs that for the entire Image sensor or for certain areas a higher spatial resolution is achieved, the sensor elements of all groups or selected groups are evaluated individually (without binning).
  • the image sensor is thus operated in particular in such a way that, in the normal case, the resolution is reduced compared with the number of sensor elements, and the image sensor is only used if required with an increased to maximum spatial resolution.
  • the color information remains intact in both cases.
  • the image sensor according to the invention comprises a multiplicity of sensor elements which form pixels or pixels and are sensitive to electromagnetic radiation, which are arranged next to one another in the form of a matrix, in particular in columns and in rows.
  • the sensor elements can be designed in such a way that they convert electromagnetic or optical radiation into electrical energy and / or exhibit an electrical resistance which depends on the incident electromagnetic radiation.
  • electromagnetic radiation refers to both visible light, as well as invisible infrared light and ultraviolet radiation.
  • the image sensor can be designed, for example, as a CCD image sensor (CCD: Charge-Coupled Device) or as a CMOS image sensor (CMOS: Complementary Metal Oxide Semiconductor), in particular as an active pixel sensor (Active Pixel Sensor, APS), with light-sensitive photodiodes as sensor elements.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • active Pixel sensor Active Pixel Sensor, APS
  • the sensor elements of the image sensor are associated with color filters, so that each sensor element detects electromagnetic radiation from a specific wavelength range.
  • the color filters can be used, for example, as absorbent color masks, in particular in the primary colors red, green and blue and / or in the colors yellow, magenta and cyan, which are preferably arranged directly over the sensor elements of the image sensor.
  • Each sensor element provides in this case only information / signals for a single color component of the light or for electromagnetic radiation from the corresponding wavelength range.
  • the color filter can in particular also be designed as a thin-layer color filter, with a carrier which is arranged above the sensor elements of the image sensor and on which a color filter is applied, for example as a mixture of organic color pigments and inorganic materials, for example halides.
  • the image sensor can also be designed with a microlens color filter system, wherein a color filter layer is formed between the sensor elements and microlenses arranged above them.
  • a system that utilizes the different penetration depths of light, in particular of red and blue light, into silicon (Foveon X3 sensor).
  • the sensor elements of the image sensor are divided into groups.
  • Each group comprises an array of nxm sensor elements, with n> 2 and m> 2.
  • the image sensor comprises at least four groups of sensor elements, each group having the same number and the same ratio of nxm sensor elements.
  • the sensor elements of a group are assigned the same or the same color filter, ie each group supplies only information or signals for a single color component or for incident electromagnetic radiation from a specific wavelength range.
  • the sensor elements of a group can be configured either with separate (ie with the same) color filters having identical filter characteristics, or it can be for all Sensor elements of a group a common (ie the same) color filter be configured.
  • the image sensor according to the invention When interconnecting (binning) the sensor elements of a group, the image sensor according to the invention functions as well-known image sensors, and the color recognition (demosaicing) can be carried out in the usual way, in particular as in a normal image sensor.
  • the spatial resolution and the color resolution of the image sensor are reduced in this case compared to the total number of sensor elements and thus over the maximum spatial resolution of the image sensor.
  • each group comprises an array of nxn sensor elements.
  • Each group is designed with the same number of sensor elements with n> 2.
  • each group comprises exactly 2x2 sensor elements.
  • the groups are arranged next to each other and arranged in the form of a matrix in the row and column direction.
  • the sensor elements of adjacent groups are assigned different color filters.
  • the color filters of the sensor elements alternate in groups in a row of adjacent groups, for example in the sequence red-green or green-blue.
  • color filters are assigned to the sensor elements in such a way that the image sensor is assigned at least 2 ⁇ 2 sensor elements due to the matrix-like juxtaposed groups, the sensor elements of a group being assigned the same or the same color filter, a Bayer matrix (Bayer pattern).
  • the image sensor is similar to a chess board, with a regular color filter array (coated, which preferably consists of 50% green and 25% red and blue color.)
  • the color filters are based on the groups, for example, in odd rows in the sequence red-green and arranged in straight lines in the sequence green-blue.
  • the image sensor comprises at least two operating modes or the image sensor can be operated in at least two ways.
  • the sensor elements are preferably interconnected or evaluated in groups.
  • This process has already been described in the introduction and is generally referred to as binning, in particular also as on-chip binning, in which adjacent sensor elements (in this case all sensor elements of a group) are combined or interconnected and whereby, in particular, the resolution capability is changed.
  • the combination of several sensor elements takes place, for example, by adding the detected brightness values, either analogously by charge addition by charge transport or digitally by addition of the digitized brightness values.
  • the sensor elements are evaluated individually, ie in particular there is no interconnection of adjacent sensor elements by means of binning.
  • the individual evaluation can also be made only for selected groups, the sensor elements of the remaining groups are combined or not evaluated.
  • a higher spatial resolution can be achieved for the affected areas of the image sensor.
  • the inventive method relates to the operation of an image sensor, preferably an image sensor according to the invention, according to one of the preceding embodiments.
  • the method thus relates, in particular, to the operation of a high-resolution image sensor before or before which a color filter arrangement is configured for sensor elements that are sensitive to electromagnetic radiation, such that a plurality of adjacent sensor elements are identical
  • the groups of sensor elements with identical filter characteristics are each the same size, i. comprise the same number of nxm or nxn sensor elements with n> 2 and m> 2.
  • An embodiment with 2x2 or 3x3 sensor elements per group is preferred.
  • the groups form in particular a matrix-shaped filter array in the row and column direction, wherein the sensor elements of the groups are preferably configured with color filters such that a Bayer matrix (Bayer pattern) is spanned by the groups.
  • the image sensor In normal operation or in an output mode, the image sensor thus has due to the grouping or by binning a relation to its absolute number of sensor elements reduced resolution, for example in groups of 2x2 sensor elements, a 4-fold reduced resolution.
  • the reduction of the resolution relates in particular to the spatial resolution of the image sensor.
  • an operating mode is selected in which all sensor elements of the image sensor are evaluated individually (without binning), ie in which the classification into groups, in particular for the spatial representation is resolved.
  • the color resolution of the image sensor remains unchanged, whereas the spatial resolution with respect to the normal operation / output operation multiplies, in particular to the number of total existing sensor elements.
  • an operating mode is selected in which the individual sensor elements of the selected groups are evaluated individually (without binning) with regard to selected groups.
  • the sensor elements of the remaining, i. of the non-selected groups will continue to be grouped together (binning).
  • binning For the area / areas of the image sensor in which the selected groups are located, a higher spatial resolution compared to the normal operation / output operation and compared with the remaining groups is achieved, which are further interconnected, in particular by means of binning.
  • an operating mode is selected in which the individual sensor elements of the selected groups are evaluated individually (without binning) with regard to selected groups and with respect to the sensor elements of the remaining ones , ie the non-selected groups, no evaluation at all.
  • a higher spatial resolution compared to the normal operation / output operation is achieved for the area / areas of the image sensor in which the selected groups are located.
  • Particularly advantageous in this embodiment is that due to the fact that the remaining groups are not evaluated, computing power can be saved in the image processing with increased resolution.
  • the proportion of selected groups which are operated with increased resolution corresponds to at most a quarter or a ninth relative to the total quantity / number of groups of the image sensor, in which case the sensor elements of the remaining Groups are not evaluated.
  • exactly one fourth of the groups is selected, in particular if the groups each comprise 2x2 sensor elements.
  • the readout timing compared to the normal operation / output operation can be maintained since each case, ie both in normal operation and in operation with increased resolution, the same number of sensor elements must be evaluated.
  • exactly one ninth of the groups are selected for the operating mode with increased spatial resolution, etc.
  • driver assistance systems are, for example, traction control or traction control such as ABS (Antilock Braking System), ESP (Electronic Stability Program), EDS (Electronic Differential Lock), as well as adaptive cornering lights, headlights and dipped beam assist, night vision systems (English : night vision), cruise control, parking assistance,
  • Curve wizard tire pressure monitoring system, driver condition recognition, traffic sign recognition, platooning.
  • FIG. 1 an embodiment of the image sensor 1 according to the invention is shown.
  • the representation is greatly simplified and shows in principle only schematically the color filter arrangement on photosensitive sensor elements 2 of the image sensor 1, which may be arranged for example as an image pickup element in a camera device behind an imaging system, such as a lens with one or more lenses on a circuit board.
  • the image sensor 1 comprises a multiplicity of sensor elements 2, which are arranged next to one another in a matrix and are sensitive to electromagnetic radiation, for example light-sensitive photodiodes to which color filters R, G, B are assigned.
  • the color filters in this case correspond to the three primary colors red (R), green (G) and blue (B). Accordingly, each of the sensor elements 2 detects only electromagnetic radiation from the wavelength range corresponding to the respective color component.
  • the image sensor 1 from FIG. 1 can be constructed, for example, as a CMOS image chip, with a bottom layer of matrix-arranged and light-sensitive photodiodes, an overlying intermediate layer with individual color filters assigned to the photodiodes and an overlying microlens structure.
  • CMOS image chip with a bottom layer of matrix-arranged and light-sensitive photodiodes, an overlying intermediate layer with individual color filters assigned to the photodiodes and an overlying microlens structure.
  • any possible and known structure of an image sensor in particular a CCD or CMOS image chip is possible, wherein the image sensor with a Color filter arrangement according to Figure 1 and with an attached resolution (number of sensor elements 2) can be configured.
  • the sensor elements 2 of the image sensor of FIG. 1 are divided into groups 3. Each group 3 consists of an array of 2x2 sensor elements 2.
  • the sensor elements 2 of a group 3 are each assigned the same color filter R, G, B.
  • R, G, B can be arranged for each sensor element 2
  • a common color filter R, G, B can be arranged for a group 3 of sensor elements 2.
  • a Bayer matrix is defined by the groups 3 of the image sensor 1.
  • the color filters in the sequence red (R) - green (G) alternate in odd lines and the color filters in the sequence green (G) blue (B) in even lines.
  • the image sensor 1 from FIG. 1 is operated in normal operation or in an output operating mode such that the sensor elements 2 are evaluated in a grouped manner according to groups 3, in particular by means of binning.
  • the binning is canceled and the sensor elements 2 of these groups 3 are evaluated individually.
  • the image sensor 1 In the arrangement of the image sensor 1 in a camera in a vehicle for monitoring the vehicle ahead in the direction of travel environment, such as traffic sign recognition, if necessary, especially if objects such as Traffic signs and their additional characters were detected, summarized in groups 3 evaluation of the sensor elements 2 are repealed, thereby increasing the spatial resolution.
  • the color resolution must, in particular in the case of traffic sign recognition, usually not be increased because only a higher spatial resolution is required for the detection of traffic signs and their additional characters.
  • the computing power required for image processing or for the recognition of objects can thus be optimized in which a cancellation of the binning and associated increased computing power is limited to times, if in fact relevant or interesting objects in the Image are detected, the details are only recognizable with increased resolution.
  • the region of interest by the binning is canceled, a quarter of the size of the image sensor 1 or it comprises the proportion of selected groups 3 a quarter of all groups 3, in particular if each group 3 includes exactly 2x2 sensor elements 2.
  • the remaining groups 3 are temporarily not evaluated in this case.
  • the read timing relative to the operation of the image sensor 1 can be maintained in normal operation. This makes it easier to design the electronic circuitry and image processing can go through with the same timing, as in low-resolution image, ie as in normal operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

Die Erfindung betrifft einen Bildsensor (1) sowie ein Verfahren zum Betreiben eines Bildsensors (1), wobei der Bildsensor (1) eine Matrix aus Sensorelementen (2) aufweist, denen Farbfilter (R; G; B) zugeordnet und die in Gruppen (3) eingeteilt sind. Der Bildsensor (1) wird derart betrieben, dass im Normalfall mit einer gegenüber der Anzahl an Sensorelementen (2) verringerten Auflösung und nur bei Bedarf mit einer erhöhten bis maximalen räumlichen Auflösung des Bildsensors (1) gearbeitet wird.

Description

Bildsensor mit einstellbarer Auflösung
Die Erfindung betrifft einen Bildsensor sowie ein Verfahren zum Betreiben eines Bildsensors, wobei der Bildsensor eine Vielzahl von matrixförmig angeordneten Sensorelementen aufweist, denen Farbfilter zugeordnet und die in Gruppen eingeteilt sind.
In Fahrzeugen werden heutzutage vermehrt
Fahrerassistenzsysteme mit Sensorvorrichtungen eingesetzt. Die Fahrerassistenzsysteme verwenden dabei häufig ein Kamerasystem als Umfeldsensor, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs. Bei den eingesetzten Kamerasystemen wird dabei in der Regel ein Bildsensor (z.B. ein CMOS- oder CCD-Bildchip) verwendet, der in einem Kameragehäuse hinter einem Abbildungssystem, z.B. einem Objektiv angeordnet ist.
Ein Kamerasystem dieser Art ist beispielsweise aus der DE 30 21 470 C2 bekannt. Das dort beschriebene System weist einen Bildsensor mit einer Vielzahl von Bildelementen auf, die in Zeilen und Spaltenrichtung angeordnet sind und elektromagnetische Strahlung erfassen, die mittels eines Aufnahmeobj ektivs auf den Bildsensor projiziert wird.
Darüber hinaus sind bereits Bildsensoren bekannt die in der Lage sind Farben zu erkennen, z.B. mittels
Demosaicking/Demosaicing bei einem mit einer Mosaik-Farbfilter überlagerten Bildsensors. Ein solcher Bildsensor wird beispielsweise in der DE 10 2005 047 127 AI angegeben. Der dort beschriebene CMOS-Bildsensor umfasst eine Unterschicht bzw. ein Substrat mit Fotodiodenbereichen und Metallleitungen, die in einem Halbleitersubstrat gebildet sind, um auf einfallendes Licht hin Ladungen zu erzeugen, eine dielektrische Zwischenschicht, die auf der gesamten Oberfläche der Unterschicht gebildet ist, Farbfilterschichten von Rot, Grün und Blau, die auf der dielektrischen Zwischenschicht gebildet sind, um jeweils Licht von bestimmten Wellenlängen zu den Fotodiodenbereichen durchzulassen, eine
Planarisierungsschicht, die auf den Farbfilterschichten gebildet ist, und konvexe Mikrolinsen, die eine bestimmte Krümmung aufweisen und die auf der Planarisierungsschicht gebildet sind, um Licht auf ihr entsprechendes Farbfilter in den Farbfilterschichten konvergieren zu lassen und um dadurch nach Farben getrenntes Licht auf den Fotodiodenbereichen konvergieren zu lassen.
Um zukünftigen Anforderungen für Anwendungen von Kamerasystemen, insbesondere für Fahrerassistenzfunktionen, gerecht zu werden -z.B. zur Erkennung von Verkehrszeichen bzw. Verkehrszusatzzeichen-, werden zunehmend Bildsensoren mit Farberkennung (Farbimager) und mit einer Auflösung (Pixelanzahl) von deutlich größer als ein Megapixel benötigt.
Für die Bildverarbeitung sind jedoch Bildgrößen von größer als einem Megapixel derzeit schwer handhabbar, da einerseits, insbesondere bei der Parallelverarbeitung für mehrere Anwendungen, die hierfür erforderliche Rechenleistung nicht zur Verfügung steht und andererseits die erzeugte Verlustwärme das Kamerasystem unzulässig aufheizt.
Bei bekannten Bildsensoren, die gewöhnlich mit einem Bayer- Farbfilter (Bayer-Pattern) versehen sind, können durch sogenanntes „binning" mehrere Pixel -typischerweise 2 oder 4 Pixel-, z.B. mittels Addition der Helligkeitswerte, entweder analog durch Ladungsaddition bzw. Ladungstransport oder digital durch Addition der digitalisierten Werte, zu einem Pixel zusammengeschaltet und somit zusammengefasst ausgewertet werden. Dadurch kann die Lichtempfindlichkeit des Bildsensors erhöht, die Auflösung und gleichzeitig die benötigte Rechenleistung reduziert sowie u.a. das Rauschverhältnis verbessert werden. Derartige Bildsensoren, die eine veränderliche Auflösung erlauben, werden üblicherweise komplett im hochauflösenden Modus (ohne binning) oder im niedrigauflösenden Modus (mit binning) betrieben. Nachteilig ist dabei, dass entweder im hochauflösenden Modus ständig eine stark erhöhte Rechenleistung zur Bildverarbeitung erforderlich ist oder im niedrigauflösenden Modus die Farbinformation verloren geht.
In einem „IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, 2001" wurde von K. Hara et al . eine Lösung vorgeschlagen, um bei Reduktion von CIF-Format auf QCIF die Farbinformation zu erhalten. Hierfür ist jedoch eine relativ aufwendige Schaltung erforderlich und die Empfindlichkeit des Bildsensors wird durch das Verfahren insgesamt herabgesetzt.
Darüber hinaus erlauben heutzutage beispielsweise standardisierte digitale Fotoapparate ebenfalls eine Reduktion der Auflösung, wobei diese jedoch in der Regel durch eine rechnerische Skalierung eines zunächst hochaufgelöst erfassten Bildes erfolgt. Somit ist ebenfalls die Verarbeitung eines hochaufgelösten Bildes erforderlich und es erfolgt somit grundsätzlich keine Reduktion der benötigten Rechenleistung.
Allen bekannten Systemen ist somit gemeinsam, dass diese bislang keine geeignete Lösung bieten, um sowohl die für zukünftige Anforderungen erforderliche erhöhte Bildauflösung zu erreichen und gleichzeitig Farbinformationen zu liefern, ohne dass dabei für die Bilderfassung und Bildverarbeitung benötigte Rechenleistung und die erforderlichen elektrischen Schaltungen übermäßig hoch bzw. komplex ausfallen. Der Erfindung liegt demnach die Aufgabe zugrunde, eine Bildsensor sowie ein Verfahren zu dessen Betrieb anzugeben, um den künftigen Anforderungen von Kamerasystemen gerecht zu werden, insbesondere für die Anwendung als Sensorsysteme in Fahrzeugen, wobei die beschrieben Probleme und Nachteile von bekannten Systemen vermieden werden.
Diese Aufgabe wird durch einen Bildsensor mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren mit den Merkmalen nach Anspruch 7 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
Ein wesentlicher Gedanke der Erfindung besteht darin, einen hochauflösenden Bildsensor, d.h. einen Bildsensor der eine Vielzahl von lichtempfindlichen Sensorelementen umfasst, derart mit einem Farbfilter auszugestalten, dass jeweils Arrays von bevorzugt 2 x 2 Sensorelementen mit identischen Farbfiltern nebeneinander liegen. Je nach Bedarf wird der Bildsensor derart betrieben, dass im Normalbetrieb die Sensorelemente nach Gruppen (Arrays aus nebeneinander liegenden Sensorelementen mit jeweils identischen Filtereigenschaften) zusammengeschaltet werden und der Bildsensor damit eine gegenüber der absoluten Anzahl an Sensorelementen reduzierte Auflösung aufweist. Bei Arrays mit 2 x2 Sensorelementen hat der Bildsensor folglich eine 4-fach reduzierte Auflösung. Dadurch kann mittels Demosaicing eine Farbauflösung wie bei bekannten Bildsensoren erreicht und gleichzeitig Rechenleistung eingespart werden, wenn keine hohe Auflösung erforderlich ist. Ist es hingegen beispielsweise für die Erkennung von Objektdetails erforderlich, z.B. bei der Erkennung von Verkehrszusatzzeichen, dass für den gesamten Bildsensor oder für bestimmte Bereiche eine höhere räumliche Auflösung erreicht wird, werden die Sensorelemente aller Gruppen oder ausgewählter Gruppen einzeln (ohne binning) ausgewertet .
Der Bildsensor wird somit insbesondere derart betrieben, dass im Normalfall mit einer gegenüber der Anzahl an Sensorelementen verringerten Auflösung und nur bei Bedarf mit einer erhöhten bis maximalen räumlichen Auflösung des Bildsensors gearbeitet wird. Die Farbinformation bleibt insbesondere in beiden Fällen erhalten.
Der erfindungsgemäße Bildsensor umfasst eine Vielzahl von Bildpunkte bzw. Pixel bildenden und für elektromagnetische Strahlung sensitiven Sensorelementen, die nebeneinander liegend in Form einer Matrix, insbesondere spalten- und zeilenweise, angeordnet sind. Die Sensorelemente können beispielsweise derart ausgestaltet sein, dass diese elektromagnetische bzw. optische Strahlung in elektrische Energie umwandeln und/oder einen von der einfallenden elektromagentischen Strahlung abhängigen elektrischen Widerstand zeigen. Der Begriff elektromagnetische Strahlung bezieht sich dabei sowohl auf sichtbares Licht, als auch auf unsichtbares Infrarotlicht sowie auf ultraviolette Strahlung. Der Bildsensor kann beispielsweise als CCD-Bildsensor (CCD: Charge-Coupled Device) oder als CMOS-Bildsensor (CMOS: Complementary Metal Oxide Semiconductor) , insbesondere als aktiver Pixelsensor (engl. Active Pixel Sensor, APS), ausgestaltet sein, mit lichtempfindlichen Fotodioden als Sensorelemente .
Den Sensorelementen des Bildsensors sind Farbfilter zugeordnet, so dass jedes Sensorelement elektromagnetische Strahlung aus einem bestimmten Wellenlängenbereich erfasst. Die Farbfilter können beispielsweise als absorbierende Farbmasken insbesondere in den Grundfarben Rot, Grün und Blau und/oder in den Farben Gelb, Magenta und Cyan ausgestaltet sein, die vorzugsweise direkt über den Sensorelementen des Bildsensors angeordnet sind. Jedes Sensorelement liefert in dem Fall nur Informationen/Signale für eine einzige Farbkomponente des Lichts bzw. für elektromagnetische Strahlung aus dem entsprechenden Wellenlängenbereich. Der Farbfilter kann insbesondere auch als Dünnschichtfarbfilter ausgestaltet sein, mit einem Träger der über den Sensorelementen des Bildsensor angeordnet ist und auf dem ein Farbfilter aufgebracht ist, beispielsweise als Mischung aus organischen Farbpigmenten und anorganischen Materialien, z.B. Halogenide. Der Bildsensor kann auch mit einem Mikrolinsen- Farbfilter-System ausgestaltet sein, wobei zwischen den Sensorelementen und darüber angeordneten Mikrolinsen eine Farbfilterschicht ausgebildet ist. Alternativ oder zusätzlich kann auch ein System eingesetzt werden, dass die unterschiedliche Eindringtiefen von Licht, insbesondere von rotem und blauem Licht, in Silicium ausnutzt (Foveon-X3- Sensor) .
Die Sensorelemente des Bildsensors sind in Gruppen eingeteilt. Jede Gruppe umfasst dabei ein Array von n x m Sensorelementen, mit n > 2 und m > 2. Bevorzugt umfasst der Bildsensor mindestens vier Gruppen von Sensorelementen, wobei jede Gruppe mit der gleichen Anzahl und dem gleichen Verhältnis von n x m Sensorelementen ausgestaltet ist. Den Sensorelementen einer Gruppe sind erfindungsgemäß die gleichen oder derselbe Farbfilter zugeordnet, d.h. jede Gruppe liefert nur Informationen bzw. Signale für eine einzige Farbkomponente bzw. für einfallende elektromagnetische Strahlung aus einem bestimmten Wellenlängenbereich. Die Sensorelemente einer Gruppe können dabei entweder mit separaten (d.h. mit dem gleichen) Farbfiltern ausgestaltet sein, die identische Filtereigenschaften aufweisen, oder es kann für alle Sensorelemente einer Gruppe ein gemeinsamer (d.h. derselbe) Farbfilter ausgestaltet sein.
Bei der Zusammenschaltung (binning) der Sensorelemente einer Gruppe funktioniert damit der erfindungsgemäße Bildsensor wie bekannte Bildsensoren und die Farberkennung (Demosaicing) kann insbesondere wie bei einem normalen Bildsensor in gewohnter Weise durchgeführt werden. Die räumliche Auflösung sowie die Farbauflösung des Bildsensors sind in diesem Fall gegenüber der gesamten Anzahl an Sensorelementen und damit gegenüber dem maximalen räumlichen Auflösungsvermögen des Bildsensors reduziert .
In einer bevorzugten Ausgestaltung umfasst jede Gruppe ein Array von nxn Sensorelementen. Dabei ist jede Gruppe mit der gleichen Anzahl von Sensorelementen mit n > 2 ausgestaltet. Bevorzugt umfasst jede Gruppe genau 2x2 Sensorelemente.
In einer weiteren bevorzugten Ausgestaltung sind die Gruppen nebeneinander liegend und in Form einer Matrix in Zeilen- und Spaltenrichtung angeordnet.
In einer vorteilhaften Ausführung sind den Sensorelementen von aneinander grenzenden Gruppen unterschiedliche Farbfilter zugeordnet. Bevorzugt wechseln sich dabei in einer Zeile von nebeneinander liegenden Gruppen die Farbfilter der Sensorelemente gruppenweise ab, beispielsweise in der Folge Rot-Grün oder Grün-Blau.
In einer weiteren vorteilhaften Ausführung sind den Sensorelementen Farbfilter derart zugeordnet, dass der Bildsensor, aufgrund der matrixförmig nebeneinander angeordneten Gruppen, welche wiederum jeweils mindestens 2 x2 Sensorelemente umfassen, wobei den Sensorelementen einer Gruppe der gleiche oder derselbe Farbfilter zugeordnet ist, eine Bayer-Matrix (Bayer-Pattern) aufweist. Der Bildsensor ist dabei ähnlich einem Schachbrett, mit einem regelmäßigen Farbfilterarray (überzogen, der bevorzugt zu 50% aus Grün und zu je 25% aus Rot und Blau besteht. Die Farbfilter sind bezogen auf die Gruppen beispielsweise in ungeraden Zeilen in der Folge Rot-Grün und in geraden Zeilen in der Folge Grün- Blau angeordnet.
In einer besonderen Ausbildung umfasst der Bildsensor mindestens zwei Betriebsarten bzw. kann der Bildsensor auf zumindest zwei Arten betrieben werden.
In einer Betriebsart werden die Sensorelemente bevorzugt nach Gruppen zusammengeschaltet bzw. zusammengefasst ausgewertet. Dieser Vorgang wurde einleitend bereits beschrieben und wird allgemein als binning bezeichnet, insbesondere auch als on- chip-binning, wobei benachbarte Sensorelemente (in diesem Fall alle Sensorelemente einer Gruppe) zusammengefasst bzw. zusammengeschaltet werden und wodurch insbesondere das Auflösungsvermögen verändert wird. Die Zusammenfassung von mehreren Sensorelementen erfolgt beispielsweise durch Addition der erfasst Helligkeitswerte, entweder analog durch Ladungsaddition durch Ladungstransport oder digital durch Addition der digitalisierten Helligkeitswerte.
In einer weiteren Betriebsart werden die Sensorelemente einzeln ausgewertet, d.h. es erfolgt insbesondere keine Zusammenschaltung von benachbarten Sensorelementen mittels binning. Die Einzelauswertung kann auch nur für ausgewählt Gruppen erfolgen, wobei die Sensorelemente der restlichen Gruppen zusammengefasst oder gar nicht ausgewertet werden. Durch die Einzelauswertung von Sensorelementen ausgewählter Gruppen oder aller Gruppen kann für die betroffenen Bereiche des Bildsensors eine höhere räumliche Auflösung erreicht werden . Das erfindungsgemäße Verfahren betrifft das Betreiben eines Bildsensors, vorzugsweise eines erfindungsgemäßen Bildsensors, nach einer der vorangegangenen Ausführungen. Das Verfahren betrifft damit insbesondere das Betreiben eines hochauflösenden Bildsensors vor dem bzw. vor dessen für elektromagnetische Strahlung sensitiven Sensorelementen eine Farbfilteranordnung ausgestaltet ist, so dass mehrere nebeneinander liegende Sensorelemente gleiche
Filtereigenschaften aufweisen und im Normalbetrieb bzw. in einer Ausgangsbetriebsart gruppenweise zusammengeschaltet ausgewertet werden. Bevorzugt sind die Gruppen von Sensorelementen mit identischen Filtereigenschaften jeweils gleich groß, d.h. umfassen die gleiche Anzahl von nxm bzw. nxn Sensorelementen mit n > 2 und m > 2. Eine Ausgestaltung mit 2x2 oder 3x3 Sensorelementen je Gruppe wird dabei bevorzugt. Die Gruppen bilden insbesondere ein matrixförmiges Filterarray in Zeilen- und Spaltenrichtung, wobei die Sensorelemente der Gruppen vorzugsweise derart mit Farbfiltern ausgestaltet sind, dass durch die Gruppen eine Bayer-Matrix (Bayer-Pattern) aufgespannt wird. Im Normalbetrieb bzw. in einer Ausgangsbetriebsart hat der Bildsensor somit aufgrund der Gruppierung bzw. durch binning eine gegenüber seiner absoluten Anzahl an Sensorelementen verringerte Auflösung, beispielsweise bei Gruppen von 2x2 Sensorelemente eine 4-fach reduzierte Auflösung. Die Reduktion der Auflösung betrifft dabei insbesondere das räumliche Auflösungsvermögen des Bildsensors .
In einer vorteilhaften Ausführung des Verfahrens wird, insbesondere für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart gewählt, bei der alle Sensorelemente des Bildsensors einzeln (ohne binning) ausgewertet werden, d.h. bei der die Einteilung in Gruppen, insbesondere für die räumliche Darstellung, aufgelöst wird. Dabei bleibt die Farbauflösung des Bildsensors unverändert, wohingegen sich die räumliche Auflösung gegenüber dem Normalbetrieb/Ausgangsbetrieb vervielfacht, insbesondere auf die Anzahl an insgesamt vorhandenen Sensorelementen.
In einer weiteren vorteilhaften Ausführung des Verfahrens wird, insbesondere für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart gewählt bei der betreffend ausgewählte Gruppen die einzelnen Sensorelemente der ausgewählten Gruppen einzeln (ohne binning) ausgewertet werden. Die Sensorelemente der restlichen, d.h. der nicht ausgewählten Gruppen, werden weiterhin nach Gruppen zusammengefasst (mit binning) ausgewertet. Dadurch wird für den Bereich/für die Bereiche des Bildsensors, in denen die ausgewählten Gruppen liegen, eine höhere räumliche Auflösung gegenüber dem Normalbetrieb/ Ausgangsbetrieb sowie gegenüber den restlichen Gruppen erreicht, die weiterhin, insbesondere mittels binning, zusammengeschaltet werden.
In einer weiteren vorteilhaften Ausführung des Verfahrens wird, insbesondere für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart gewählt bei der betreffend ausgewählte Gruppen die einzelnen Sensorelemente der ausgewählten Gruppen einzeln (ohne binning) ausgewertet werden und betreffend die Sensorelemente der restlichen, d.h. der nicht ausgewählten Gruppen, gar keine Auswertung erfolgt. Hierdurch wird für den Bereich/für die Bereiche des Bildsensors, in denen die ausgewählten Gruppen liegen, eine höhere räumliche Auflösung gegenüber dem Normalbetrieb/Ausgangsbetrieb erreicht. Besonders vorteilhaft an dieser Ausführungsvariante ist, dass aufgrund der Tatsache, dass die restlichen Gruppen nicht ausgewertet werden, Rechenleistung bei der Bildverarbeitung mit erhöhter Auflösung gespart werden kann. In einer vorteilhaften Ausführung des Verfahrens entspricht der Anteil an ausgewählten Gruppen, die mit erhöhter Auflösung (ohne binning) betrieben werden, höchstens einem Viertel oder einem Neuntel bezogen auf die gesamte Menge/Anzahl an Gruppen des Bildsensors, wobei in diesem Fall die Sensorelemente der restlichen Gruppen nicht ausgewertet werden. Bevorzugt wird dabei genau ein Viertel der Gruppen ausgewählt, insbesondere dann, wenn die Gruppen jeweils 2x2 Sensorelemente umfassen. In diesem Fall kann das Auslesetiming gegenüber dem Normalbetrieb/Ausgangsbetrieb beibehalten werden, da jedem Fall, d.h. sowohl im Normalbetrieb als auch im Betrieb mit erhöhter Auflösung, die gleiche Anzahl an Sensorelementen ausgewertet werden muss. Analog wird bei Ausgestaltung des Bildsensors mit Gruppen von 3 x 3 Sensorelementen genau ein Neuntel der Gruppen für die Betriebsart mit erhöhter räumlicher Auflösung ausgewählt, etc.
Das erfindungsgemäße Verfahren sowie der erfindungsgemäße Bildsensor kommen vorzugsweise in Fahrzeugen zum Einsatz, insbesondere in Verbindung mit Kameravorrichtungen und Bildverarbeitungssystemen, beispielsweise zur Erfassung des Innenraums und/oder des Umfeldes des Fahrzeugs. Bevorzugt erfolgt dabei der Einsatz im Rahmen von Funktionen eines oder mehrerer Fahrerassistenzsysteme, die eine bildverarbeitende Sensoreinheit verwenden. Bekannte Fahrerassistenzsysteme sind beispielsweise Antriebsschlupfregelung bzw. Traktionskontrolle wie ABS (Antiblockiersystem) , ASR (Antriebs-Schlupf-Regelung) , ESP (Elektronisches Stabilitätsprogramm) , EDS (Elektronische Differentialsperre) , sowie adaptives Kurvenlicht, Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsysteme (englisch: night vision) , Tempomat, Einparkhilfe,
Bremsassistent, ACC (Adaptive Cruise Control) bzw. Abstandsregeltempomat , Abstandswarner, Abbiegeassistent,
Stauassistent, Spurerkennungssystem, Spurhalteassistent, Spurhalteunterstützung, Spurwechselassistent, ISA (Intelligent Speed Adaption) , ANB (Automatische Notbremsung) ,
Kurvenassistent, Reifendruckkontrollsystem, Fahrerzustands- erkennung, Verkehrszeichenerkennung, Platooning.
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und der Zeichnung hervor. Ausführungsbeispiele sind in der Zeichnung vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
In Fig. 1 ist ein Ausführungsbeispiel des erfindungsgemäßen Bildsensors 1 dargestellt. Die Darstellung ist dabei stark vereinfacht und zeigt im Prinzip nur schematisch die Farbfilteranordnung über lichtempfindlichen Sensorelementen 2 des Bildsensors 1, der beispielsweise als Bildaufnahmeelement in einer Kameravorrichtung hinter einem Abbildungssystem, z.B. einem Objektiv mit einer oder mit mehreren Linsen, auf einer Leiterplatte angeordnet sein kann. Der Bildsensor 1 umfasst eine Vielzahl von matrixförmig nebeneinander angeordneten und für elektromagnetische Strahlung sensitiven Sensorelementen 2, z.B. lichtempfindliche Fotodioden, denen Farbfilter R, G, B zugeordnet sind. Die Farbfilter entsprechen in diesem Fall den drei Grundfarben Rot (R) , Grün (G) und Blau (B) . Jeder der Sensorelemente 2 erfasst dementsprechend nur elektromagnetische Strahlung aus dem der jeweiligen Farbkomponente entsprechenden Wellenlängenbereich. Der Bildsensor 1 aus Fig. 1 kann beispielsweise als CMOS-Bildchip aufgebaut sein, mit einer unteren Schicht matrixförmig angeordneter und lichtempfindlicher Fotodioden, einer darüber liegenden Zwischenschicht mit einzelnen den Fotodioden zugeordneten Farbfiltern und einer darüber liegenden Mikrolinsenstruktur . Grundsätzlich ist jede mögliche und bekannter Aufbau eines Bildsensors, insbesondere eines CCD- oder CMOS-Bildchips möglich, wobei der Bildsensor mit einer Farbfilteranordnung entsprechend Figur 1 und mit einer beilegen Auflösung (Anzahl an Sensorelementen 2) ausgestaltet sein kann.
Die Sensorelemente 2 des Bildsensors aus Fig. 1 sind in Gruppen 3 eingeteilt. Jede Gruppe 3 besteht aus einem Array von 2x2 Sensorelementen 2. Den Sensorelementen 2 einer Gruppe 3 ist dabei jeweils der gleiche Farbfilter R, G, B zugeordnet. Hierzu kann entweder für jedes Sensorelement 2 ein separater Farbfilter R, G, B oder es kann für eine Gruppe 3 von Sensorelementen 2 ein gemeinsamer Farbfilter R, G, B angeordnet sein.
Im Ausführungsbeispiel des erfindungsgemäßen Bildsensors 1 aus Fig. 1 wird durch die Gruppen 3 des Bildsensors 1, eine Bayer-Matrix aufgespannt. Wobei sich, bezogen auf die Gruppen 3, in ungeraden Zeilen die Farbfilter in der Folge Rot (R) - Grün (G) und in geraden Zeilen die Farbfilter in der Folge Grün (G) -Blau (B) abwechseln.
Erfindungsgemäß wird der Bildsensor 1 aus Fig. 1 im Normalbetrieb bzw. in einer Ausgangsbetriebsart derart betrieben, dass die Sensorelemente 2 nach Gruppen 3 zusammengefasst ausgewertet werden, insbesondere mittels binning. Hierdurch ergibt sich eine um den Faktor Vier reduzierte Auflösung des Bildsensors 1 gegenüber seinem maximalen Auflösungsvermögen bezogen auf die absolute Anzahl an Sensorelementen 2. Erfordern beispielweise bestimmte Bildverarbeitungsaufgaben, ganzheitlich oder bestimmte Bereiche des Bildsensors 1 betreffend, eine höhere räumliche Auflösung, kann für alle Gruppen 3 oder für ausgewählte Gruppen 3 das binning aufgehoben und die Sensorelemente 2 dieser Gruppen 3 einzeln ausgewertet werden.
Bei Anordnung des Bildsensors 1 in einer Kamera in einem Fahrzeug zur Überwachung der in Fahrtrichtung vorausliegenden Fahrzeugumgebung, beispielsweise zur Verkehrszeichenerkennung, kann bei Bedarf, insbesondere wenn Objekte wie z.B. Verkehrszeichen und deren Zusatzzeichen erkannt wurden, die nach Gruppen 3 zusammengefasste Auswertung der Sensorelemente 2 aufgehoben werden, um dadurch die räumliche Auflösung zu steigern. Die Farbauflösung muss, insbesondere im Falle der Verkehrszeichenerkennung, in der Regel nicht erhöht werden, da für die Erkennung von Verkehrszeichen und deren Zusatzzeichen nur eine höhere räumliche Auflösung erforderlich ist.
Durch einen entsprechend Fig. 1 ausgestalteten Bildsensor 1 kann somit die für die Bildverarbeitung bzw. für Erkennung von Objekten benötigte Rechenleistung optimiert werden, in dem eine Aufhebung des binning und damit verbundene erhöhte Rechenleistung auf Zeiten beschränkt wird, wenn tatsächlich relevante bzw. interessierende Objekte im Bild detektiert werden, deren Details nur mit erhöhter Auflösung erkennbar sind .
Gemäß einer weiteren Ausgestaltung des Bildsensors 1 sowie einer bevorzugten Ausführungsvariante des erfindungsgemäßen Verfahrens zum Betreiben des Bildsensors 1, lässt sich die Aufhebung des binning auf den interessierenden Bereich des Bildsensors 1, d.h. auf ausgewählte Gruppen 3, beschränken, wodurch sich nochmals eine erhebliche Reduktion der zu verarbeitenden Zahl an Sensorelementen 2 bzw. Pixel erreichen lässt .
In einer besonders vorteilhaften Ausgestaltung hat der interessierende Bereich, indem das binning aufgehoben wird, einen Viertel der Größe des Bildsensors 1 bzw. es umfasst der Anteil an ausgewählten Gruppen 3 einen Viertel aller Gruppen 3, insbesondere wenn jede Gruppe 3 genau 2x2 Sensorelemente 2 umfasst. Die restlichen Gruppen 3 werden in diesem Fall vorübergehend nicht ausgewertet. Dabei kann das Auslesetiming gegenüber dem Betrieb des Bildsensors 1 im Normalbetrieb beibehalten werden. Hierdurch lässt sich die elektronische Beschaltung einfacher gestalten und die Bildverarbeitung kann mit gleicher Zeittaktung durchlaufen, wie bei niedriger aufgelöstem Bild, d.h. wie bei Normalbetrieb.
Be z e i chnungs liste
1 Bildsensor
2 Sensorelement
3 Gruppe
R Rot
G Grün
B Blau

Claims

Patentansprüche
1. Bildsensor (1) umfassend eine Vielzahl von matrixförmig nebeneinander angeordneten und für elektromagnetische Strahlung sensitiven Sensorelementen (2),
wobei den Sensorelementen (2) Farbfilter (R;G;B)
zugeordnet sind, so dass jedes Sensorelement (2)
elektromagnetische Strahlung aus einem bestimmten
Wellenlängenbereich erfasst,
dadurch gekennzeichnet, dass
die Sensorelemente (2) in Gruppen (3) eingeteilt sind, wobei jede Gruppe (3) jeweils ein Array von nxm
Sensorelementen (2) umfasst, mit n > 2 und m > 2, und den Sensorelementen (2) einer Gruppe (3) der gleiche oder derselbe Farbfilter (R;G;B) zugeordnet ist.
2. Bildsensor (1) nach Anspruch 1, wobei jede Gruppe (3) jeweils ein Array von nxn Sensorelementen (2) umfasst, mit n > 2.
3. Bildsensor (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass
die Gruppen (3) matrixförmig nebeneinander angeordnet sind .
4. Bildsensor (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass
den Sensorelementen (2) von aneinander grenzenden Gruppen (3) jeweils unterschiedliche Farbfilter (R;G;B)
zugeordnet sind.
5. Bildsensor (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass den Sensorelementen (2) Farbfilter (R;G;B) zugeordnet sind, derart, dass der Bildsensor (1) aufgrund der matrixförmig nebeneinander angeordneten Gruppen (3) , welche jeweils mindestens 2x2 Sensorelemente (2) mit denselben oder den gleichen Farbfiltern (R;G;B) umfassen, eine Bayer-Matrix aufweist.
6. Bildsensor (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass
zumindest zwei Betriebsarten des Bildsensors (1)
vorgesehen sind, wobei
in einer Betriebsart die Sensorelemente (2) nach Gruppen (3) zusammengefasst ausgewertet werden und
in einer weiteren Betriebsart die Sensorelemente (2) jeder Gruppe (3) oder ausgewählter Gruppen (3) einzeln ausgewertet werden.
7. Verfahren zum Betreiben eines Bildsensors (1), der nach einem der vorangegangenen Ansprüche ausgestaltet ist, dadurch gekennzeichnet, dass
als Ausgangsbetriebsart eine Betriebsart des Bildsensors (1) gewählt wird, bei der die Sensorelemente (2) nach Gruppen (3) zusammengefasst ausgewertet werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart des Bildsensors (1) gewählt wird, bei der alle Sensorelemente (2) des Bildsensors (1) einzeln ausgewertet werden.
9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart des Bildsensors (1) gewählt wird, bei der betreffend ausgewählte Gruppen (3) die Sensorelemente (2) einzeln und
betreffend die restlichen Gruppen (3) die Sensorelemente (2) nach Gruppen (3) zusammengefasst ausgewertet werden.
10. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass
für den Fall, dass eine höhere räumliche Auflösung erreicht werden soll, eine Betriebsart des Bildsensors (1) gewählt wird, bei der
betreffend ausgewählte Gruppen (3) die Sensorelemente (2) einzeln ausgewertet werden und
betreffend die restlichen Gruppen (3) keine Auswertung der Sensorelemente (2) erfolgt.
11. Verfahren nach Anspruch 9 oder 10, dadurch
gekennzeichnet, dass
die Menge an ausgewählten Gruppen (3) einem Anteil von i. einem Viertel der gesamten Menge an Gruppen (3) des Bildsensors (1) entspricht, wenn jede Gruppe (3) genau 2x2 Sensorelemente (2) umfasst.
ii. einem Neuntel der gesamten Menge an Gruppen (3) des Bildsensors (1) entspricht, wenn jede Gruppe (3) genau 3x3 Sensorelemente (2) umfasst.
12. Verfahren nach einem der Ansprüche 7 bis 11, das im Rahmen einer oder mehrerer Funktionen eines oder mehrerer Fahrerassistenzsysteme eines Fahrzeugs zum Einsatz kommt, insbesondere im Rahmen von Bildverarbeitungsaufgaben zur Erfassung des Fahrzeuginnenraums und/oder der
Fahrzeugumgebung .
PCT/DE2012/100070 2011-05-03 2012-03-21 Bildsensor mit einstellbarer auflösung Ceased WO2012149927A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112012000537T DE112012000537A5 (de) 2011-05-03 2012-03-21 Bildsensor mit einstellbarer Auflösung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011100350A DE102011100350A1 (de) 2011-05-03 2011-05-03 Bildsensor mit einstellbarer Auflösung
DE102011100350.2 2011-05-03

Publications (1)

Publication Number Publication Date
WO2012149927A1 true WO2012149927A1 (de) 2012-11-08

Family

ID=46021948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2012/100070 Ceased WO2012149927A1 (de) 2011-05-03 2012-03-21 Bildsensor mit einstellbarer auflösung

Country Status (2)

Country Link
DE (2) DE102011100350A1 (de)
WO (1) WO2012149927A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578072A (zh) 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
DE102016217282A1 (de) 2016-09-12 2018-03-15 Conti Temic Microelectronic Gmbh Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung
DE102016221336A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
CN106357967B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106713790B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
DE102017200487A1 (de) 2017-01-13 2018-07-19 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Bereitstellen von Kamerabilddaten
US10594958B2 (en) * 2017-10-20 2020-03-17 GM Global Technology Operations LLC Camera imager binning technique
EP3562145A1 (de) * 2018-04-25 2019-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum betrieb eines fortschrittlichen fahrerassistenzsystems eines fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066698A2 (en) * 2006-11-30 2008-06-05 Eastman Kodak Company Producing low resolution images
US20080246865A1 (en) * 2007-04-03 2008-10-09 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system
US20090200451A1 (en) * 2008-02-08 2009-08-13 Micron Technology, Inc. Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
US20090285476A1 (en) * 2008-05-19 2009-11-19 Won-Hee Choe Apparatus and method for combining images
US20110234865A1 (en) * 2010-03-25 2011-09-29 Kabushiki Kaisha Toshiba Solid-state imaging device, color filter arrangement method therefor and image recording apparatus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS55163951A (en) 1979-06-08 1980-12-20 Toshiba Corp Solid-state pickup unit
US5555464A (en) * 1995-07-28 1996-09-10 Lockheed Martin Corporation Red/near-infrared filtering for CCD cameras
DE10335190A1 (de) * 2003-07-30 2005-03-03 Daimlerchrysler Ag Sensoranordnung mit einer Mehrzahl von Typen optischer Sensoren
KR100649022B1 (ko) 2004-11-09 2006-11-28 동부일렉트로닉스 주식회사 씨모스 이미지 센서의 제조방법
EP1874034A3 (de) * 2006-06-26 2011-12-21 Samsung Electro-Mechanics Co., Ltd. Vorrichtung und Verfahren zur Wiederherstellung eines Hochpixelbildes
DE102006055905B4 (de) * 2006-11-27 2020-01-30 Adc Automotive Distance Control Systems Gmbh Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DK1887515T3 (da) * 2007-02-27 2012-02-27 Phase One As Farvebinning på en digitalbillede
US20090268045A1 (en) * 2007-08-02 2009-10-29 Sudipto Sur Apparatus and methods for configuration and optimization of image sensors for gaze tracking applications
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
DE102009036595A1 (de) * 2009-08-07 2011-02-10 Conti Temic Microelectronic Gmbh Bildgebender Multifunktions-Sensor
WO2011053711A1 (en) * 2009-10-30 2011-05-05 Invisage Technologies, Inc. Systems and methods for color binning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066698A2 (en) * 2006-11-30 2008-06-05 Eastman Kodak Company Producing low resolution images
US20080246865A1 (en) * 2007-04-03 2008-10-09 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system
US20090200451A1 (en) * 2008-02-08 2009-08-13 Micron Technology, Inc. Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
US20090285476A1 (en) * 2008-05-19 2009-11-19 Won-Hee Choe Apparatus and method for combining images
US20110234865A1 (en) * 2010-03-25 2011-09-29 Kabushiki Kaisha Toshiba Solid-state imaging device, color filter arrangement method therefor and image recording apparatus

Also Published As

Publication number Publication date
DE112012000537A5 (de) 2013-10-10
DE102011100350A1 (de) 2012-11-08

Similar Documents

Publication Publication Date Title
DE102011100350A1 (de) Bildsensor mit einstellbarer Auflösung
DE60131215T2 (de) Bildsensorpixellayout zur reduzierung von feststehenden störstrukturen
DE112018006605T5 (de) Festkörperbildgebungsvorrichtung, Entfernungsvorrichtung und Herstellungsverfahren
DE112018006551T5 (de) Festkörper-bildaufnahmevorrichtung und elektronische vorrichtung
DE102012110092A1 (de) Sensoranordnung zur Bilderfassung
DE202017102626U1 (de) Doppel-Photodioden-Bildpixel
DE60223052T2 (de) Farbbildsensor mit verbesserter kalorimetrie und verfahren zu seiner herstellung
DE112020005923T5 (de) Festkörper-bildgebungsvorrichtung und bildgebungsvorrichtung mit kombinierten dynamik-vision-sensor- und bildgebungsfunktionen
DE112016004235T5 (de) Pixel mit hohem Dynamikbereich unter Verwendung von Lichttrennung
DE112019005735T5 (de) Festkörper-bildgebungsvorrichtung und bildgebungsvorrichtung
DE102012110094A1 (de) Sensoranordnung zur Bilderfassung
DE102021125545B4 (de) Bildsensor mit verbesserter farbgenauigkeit
DE112019005789T5 (de) Festkörperbildgebungsvorrichtung und elektronische Einrichtung
DE112017006977T5 (de) Abbildungssystem und abbildungseinrichtung
DE112018003957T5 (de) Festkörper-bildaufnahmevorrichtung und elektronische vorrichtung
EP3894884B1 (de) Lidar-system sowie kraftfahrzeug
EP2174507A1 (de) Kamera
DE112022006684T5 (de) Festkörperbildgebungselement, bildgebungsvorrichtung und verfahren zum steuern eines festkörperbildgebungselements
DE102012021736B4 (de) Bildsensor für sichtbares und infrarotes Licht und Kamerasystem
DE112022005329T5 (de) Bildgebungsvorrichtung und elektronische einrichtung
DE112022000204T5 (de) Bildsensoranordnung, Bildsensorvorrichtung und Verfahren zum Betrieb einer Bildsensoranordnung
DE102024116553A1 (de) Nanophotonische hyperspektralbildgebung
DE112021003848T5 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungssystem,informationsverarbeitungsverfahren und informationsverarbeitungsprogram
EP3485634B1 (de) Lichtsensormodul und verfahren zum betreiben eines lichtsensormoduls
DE102013223699A1 (de) Filteranordnung und Verfahren zum Herstellen einer Filteranordnung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12717586

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120120005376

Country of ref document: DE

Ref document number: 112012000537

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112012000537

Country of ref document: DE

Effective date: 20131010

122 Ep: pct application non-entry in european phase

Ref document number: 12717586

Country of ref document: EP

Kind code of ref document: A1