WO2003029839A1 - Verfahren zur dreidimensionalen erfassung von objekten oder szenen - Google Patents

Verfahren zur dreidimensionalen erfassung von objekten oder szenen Download PDF

Info

Publication number
WO2003029839A1
WO2003029839A1 PCT/DE2002/003672 DE0203672W WO03029839A1 WO 2003029839 A1 WO2003029839 A1 WO 2003029839A1 DE 0203672 W DE0203672 W DE 0203672W WO 03029839 A1 WO03029839 A1 WO 03029839A1
Authority
WO
WIPO (PCT)
Prior art keywords
image sensor
pmd
pixel
pixel elements
switched
Prior art date
Application number
PCT/DE2002/003672
Other languages
English (en)
French (fr)
Inventor
Helmut Riedel
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Publication of WO2003029839A1 publication Critical patent/WO2003029839A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor

Definitions

  • the invention relates to a method according to the preamble of patent claim 1.
  • sensors are used, which make it possible to detect obstacles in front of your own vehicle, as well as other vehicles or other road users, e.g. Detect motorcyclists, cyclists or pedestrians.
  • the detection must be possible in good time at different speeds so that measures to avoid a collision or to mitigate its immediate consequences can be taken by suitable deployment of airbags.
  • the method according to claim 1 enables the rapid determination of the distance and approach speed of objects and the recording of detailed gray value and distance images with a single image sensor. It enables fast point measurement with a high refresh rate as well as a higher resolution scene recording with a lower refresh rate.
  • the invention is particularly suitable for the applications pre-crash, stop & go, parking aid, blind spot monitoring or for other tasks in the area of sensor systems.
  • PMD pixel 1 shows the basic wiring of photosensitive pixel elements for signal reading using the example of a PMD pixel 1 as a photo element.
  • PMD pixel 1 represents a so-called "active pixel", ie the charge carriers generated by the photo effect are processed directly in pixel 1 by active electronic components for signal reading.
  • a transistor T1 is used to reset the PMD pixel 1
  • a transistor T2 is used to sample the photo voltage which is held on a capacitor C during the readout phase.
  • a transistor T3 is connected as a source follower, which buffers the photo signal during the readout phase.
  • a network node N1 is located between the drain-source path of transistor T1 and the drain-source path of transistor T2, and a network node N2 is located between the drain-source path of transistor T2 and the gate of transistor T3.
  • the corresponding components are labeled T1 ', T2 ⁇ T3' and C and the corresponding network nodes are labeled N1 'and N2'.
  • switches S1 (FIG. 2).
  • switches S2 (FIG. 2) also connect the respective nodes N2, so that the integration capacity can also be adapted to the enlarged pixel area.
  • Corresponding designations for the corresponding switches of the second half of a PMD pixel 1 are S1 'and S2'.
  • Switches S1 and S2 can be operated independently of one another.
  • each PMD pixel element 1 is connected to its orthogonally adjacent PMD pixel elements 1. Since each network node N1, N2, NT or N2 'of a first PMD pixel 1 has a switch S1, S2, ST or S2' with the network nodes N1, N2, NT or N2 'of a second, a third and one fourth neighboring PMD pixel 1 is connected, this results in 16 switchable connections between a PMD pixel 1 and the four PMD pixels 1 adjacent to it.
  • a PMD image sensor 2 with an orthogonal array arrangement of the PMD pixels 1 according to FIG. 2 the addressing of the individual PMD pixels 1 and the switching of the individual connections between the network nodes N1, N2, NT or N2 'can be done via horizontal and vertical address registers take place, as shown in Fig. 3.
  • a horizontal address register 3 and a vertical address register 4 take over the signal reading of the PMD pixels 1, while two further horizontal and vertical address registers 5 and 6 or 7 and 8 each have the switches S1 and ST or S2 and S2 'for the rows and columns of the
  • Any desired pixel pattern can be configured by controlling address registers 3 to 8.
  • FIG. 4a-d show an example of how a PMD image sensor 2 with 8x8 PMD pixels 1 in FIG. 4a in the resolutions 4x4 in FIG. 4b, 2x2 in FIG. 4c and in a large single pixel in FIG. 4d can be transferred, for example, to be able to measure the distance to an illuminated object despite weak radiation power.
  • the summary of the PMD pixels 1 does not have to follow a regular pattern, but can also be freely selected and adapted to the scene to be examined in each case. For example, also individual clusters of PMD pixels 1 are formed in a so-called "region of interest (ROI)".
  • ROI region of interest
  • the PMD pixels 1 of a PMD image sensor 2 can also be arranged hexagonally, as can be seen from FIG. 5.
  • PMD pixels 1 can be combined in pairs or in blocks become.
  • the hexagonal arrangement also has the advantage of being able to realize a likewise superhedral “superlattice” by combining seven PMD pixels 1 according to FIG. 5.
  • Circles 9 in FIG. 5 show the PMD pixels 1, which are each arranged around a central PMD pixel 1 in the superlattice.
  • an interconnection with the neighboring pixels 1 results in a total of 24 switchable connections per PMD pixel 1.
  • All summaries of PMD pixels 1, for example in an orthogonal grid structure according to FIGS. 2 and 4 or in a hexagonal grid structure according to FIG. 5, can be implemented statically as well as dynamically from one image clock to the next.
  • a dynamic adaptation of the pixel area of an image sensor 2 makes it possible, for example, to first roughly scan a scene to be examined with a very low lateral resolution in a first image cycle. By gradually increasing the resolution in the subsequent image cycles, further detailed information about the scene can then be obtained.
  • a signal threshold of the individual PMD pixels 1 is defined, which is required for the safe measurement of the distance values.
  • this signal threshold is reached, the further dynamic increase in the lateral resolution is then ended in favor of a better signal-to-noise ratio.
  • the image sensor 2 is designed as an array arrangement of many PMD pixels 1.
  • the individual PMD pixels 1 enable both gray value images and distance images to be recorded.
  • Fig. 2 and 4 or hexagonal as in Fig. 5 - and geometric dimensions can be adapted to the task.
  • An essential feature of the PMD imager 2 is the property that the individual PMD pixels 1 can be dynamically combined into a single large-area PMD pixel (super pixel) with the help of an electronic circuit that is integrated on the PMD chip, as schematically 4a-d.
  • the small individual pixels 1 of the image sensor 2 do not yet provide a sufficient image sensor signal due to their small area.
  • Such a large-area image sensor 2 has a high sensitivity to light and can therefore also be used for distance measurement even with low illumination intensity.
  • the image sensor signal can be read out much faster than the sequential readout of all individual pixels, so that even higher approach speeds can be detected.
  • the entire sensor system is designed in such a way that in the idle state, i.e. in the case of an unobstructed roadway, the PMD image sensor 2 is connected to form a single large-area PMD pixel 1 (super pixel).
  • this large-area image sensor 2 provides the associated distance value in good time when an obstacle is approached or when an obstacle is approached.
  • the approach speed of an obstacle or an obstacle can be determined by repeated measurement from the difference between the distance values obtained and the measurement times.
  • the image sensor 1 is switched to another operating mode in which each pixel 1 supplies individual distance and gray values and thus creates the conditions for object classification.
  • the image sensor 2 can also be switched after a predetermined distance threshold or a predetermined minimum signal strength has been reached.
  • the image sensor 2 is again connected to a large-area individual pixel 1 (super pixel).
  • the detection reliability of the system can be kept very high by such an adaptation mechanism.
  • the adaptation mechanism for the two operating modes can also be implemented with the aid of an additional illumination measurement, the elements for the illumination measurement either being integrated on the image sensor or being arranged discretely.
  • the method according to the invention for the three-dimensional detection of objects or scenes has the properties of a large-area one-pixel image sensor for distance measurement and also uses the same image sensor as an image sensor with which gray value and distance images can be recorded with a large number of pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen und zur Ermittlung von Entfernungen und Annäherungsgeschwindigkeiten für Fahrzeuge mittels eines Bildaufnehmers, wobei im Bildaufnehmer eine Vielzahl von photoempfindlichen Pixelelementen matrixförmig angeordnet und beliebig viele benachbarte Pixelelemente parallel geschaltet werden.

Description

Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen
Die Erfindung betrifft ein Verfahren nach dem Oberbegriff des Patentanspruchs 1.
Für die Steigerung der aktiven und passiven Sicherheit in künftigen Fahrzeugen gewinnt die Erfassung des Fahrzeugumfeldes ständig an Bedeutung. Hierfür wird Sensorik eingesetzt, die es ermöglicht, sowohl Hindernisse vor dem eigenen Fahrzeug, wie auch andere Fahrzeuge oder andere Verkehrsteilnehmer, z.B. Motorradfahrer, Radfahrer öder Fußgänger zu de- tektieren. Die Detektion muss rechtzeitig bei unterschiedlichen Geschwindigkeiten erfolgen können, so dass Maßnahmen zur Vermeidung einer Kollision oder zur Milderung ihrer unmittelbaren Folgen durch geeignete Auslösung von Airbags getroffen werden können.
Die heutige Sensorik zur Umfelderfassung verwendet vorwiegend Mikrowellen-Radar oder Laser-Radar im infraroten Wellenlängenbereich. Beide Sensorprinzipien ermöglichen es derzeit nicht, Objekte sicher zu klassifizieren, da die Anzahl der verwendeten Pixel für eine Szenerianalyse mit Bildverarbeitung zu gering ist. Als ergänzende Systemkomponente wird daher zumeist eine hochauflösende Video-Kamera vorgeschlagen, mit der das Defizit der geringen Pixelzähl überwunden werden kann.
Es ist daher Aufgabe der Erfindung, ein einfaches, sicheres und kostengüns- tiges Verfahren zu finden, das die Ännäherungsgeschwindigkeit von Objekten bestimmt und gleichzeitig eine Klassifikation der Objekte ermöglicht.
Gelöst wird diese Aufgabe durch ein Verfahren mit den im Anspruch 1 angegebenen Merkmalen. Das Verfahren nach Anspruch 1 ermöglicht die schnelle Bestimmung von Entfernung und Annäherungsgeschwindigkeit von Objekten sowie die Aufnahme von detaillierten Grauwert- und Entfernungsbildern mit einem einzigen Bildsensor. Es ermöglicht sowohl eine schnelle Punktmessung mit hoher Bildwiederholrate wie auch eine höher aufgelöste Szenenaufnahme mit geringerer Bildwiederholrate.
Die Erfindung eignet sich insbesondere für die Anwendungen Pre-Crash, Stop&Go, Einparkhilfe, Totwinkelüberwachung oder für andere Aufgabenstellungen der Umfeldsensorik.
Vorteilhafte Ausgestaltungen des Verfahrens nach Anspruch 1 sind in den Unteransprüchen angegeben.
Die Erfindung wird nun anhand eines Ausführungsbeispieis unter Zuhilfenahme der Zeichnung erläutert.
Es zeigen
Fig. 1: die prinzipielle Beschaltung photoempfindlicher Pixelelemente zur Signalauslesung am Beispiel eines PMD-Pixels,
Fig. 2: die Verschaltung einzelner photoempfindlicher PMD-Pixelele- mente miteinander,
Fig. 3: die Adressierung der einzelnen photoempfindlichen Pixelelemente,
Fig. 4a-d: die Veränderung der lateralen Bildauflösung durch Zusammenfassen vom photoempfindlichen, in einer orthogonalen Gitterstruktur angeordneten Pixelelementen und
Fig. 5: die Veränderung der lateralen Bildauflösung durch Zusammenfassen vom photoempfindlichen, in einer hexagonalen Gitterstruktur angeordneten Pixelelementen.
Die Fig. 1 zeigt die prinzipielle Beschaltung photoempfindlicher Pixelelemente zur Signalauslesung am Beispiel eines PMD-Pixels 1 als Photoelement. Ein PMD-Pixel 1 stellt ein sogenanntes "aktives Pixel" dar, d.h. die durch den Photoeffekt erzeugten Ladungsträger werden direkt im Pixel 1 durch aktive elektronische Bauelemente für die Signalauslesung weiterverarbeitet. Ein Transistor T1 wird zum Reset des PMD-Pixels 1 eingesetzt, ein Transistor T2 dient zum Abtasten der Photospannung, die auf einem Kondensator C während der Auslesephase gehalten wird. Ein Transistor T3 ist als Sourcefolger geschaltet, der das Photosignal während der Auslesephase puffert. Zwischen der Drain-Source-Strecke des Transistors T1 und der Drain-Source-Strecke des Transistors T2 befindet sich ein Netzknoten N1, und zwischen der Drain- Source-Strecke des Transistors T2 und dem Gate des Transistors T3 befindet sich ein Netzknoten N2. Für die zweite Hälfte des symmetrisch aufgebauten PMD-Pixels 1 sind die entsprechenden Bauelemente mit T1', T2\ T3' und C und die entsprechenden Netzknoten mit N1 ' und N2' bezeichnet.
Zur Parallelschaltung einzelner PMD-Pixel 1 werden deren jeweilige Knoten N1 über Schalter S1 (Fig. 2) miteinander verbunden. Weitere Schalter S2 (Fig. 2) verbinden auch die jeweiligen Knoten N2, so dass auch die Integräti- onskapazität an die vergrößerte Pixelfläche angepasst werden kann. Entsprechende Bezeichnungen für die entsprechenden Schalter der zweiten Hälfte eines PMD-Pixels 1 lauten S1' und S2'.
Die Schalter S1 und S2 können unabhängig voneinander betätigt werden.
Insbesondere können in einem Verbund von Pixeln 1 zwar sämtliche photoempfindlichen Flächen über die Schalter S1 verbunden sein, jedoch nur eine geringere Anzahl von Integrationskapazitäten C bzw. C über die Schalter S2 bzw. S2'. Dieses Vorgehen ermöglicht eine Erhöhung des Signalhubes an den verbundenen Integrationskapazitäten C bzw. C.
In Fig. 2 ist die Verschaltung einzelner photoempfindlicher PMD- Pixelelemente 1 miteinander dargestellt. In einem Bildaufnehmer oder Bildaufnehmer 2, insbesondere einem PMD-Bildaufnehmer, sind mehrere PMD- Pixelelemente 1 orthogonal angeordnet und jedes PMD-Pixelelement 1 ist mit seinen orthogonal benachbarten PMD-Pixelelementen 1 verschaltet. Da jeder Netzknoten N1, N2, NT bzw. N2' eines ersten PMD-Pixels 1 über jeweils einen Schalter S1, S2, ST bzw. S2' mit den Netzknoten N1, N2, NT bzw. N2' eines zweiten, eines dritten und eines vierten benachbarten PMD-Pixels 1 verbunden ist, ergeben sich daraus 16 schaltbare Verbindungen zwischen einem PMD-Pixel 1 und den vier zu ihm benachbarten PMD-Pixeln 1.
In einem PMD-Bildaufnehmer 2 mit orthogonaler Array-Anordnung der PMD- Pixel 1 gemäß Fig. 2 kann die Adressierung der einzelnen PMD-Pixel 1 sowie die Schaltung der einzelnen Verbindungen zwischen den Netzknoten N1, N2, NT bzw. N2' über horizontale und vertikale Adressregister erfolgen, wie dies in Fig. 3 dargestellt ist. Ein horizontales Ad ress reg ister 3 und ein vertikales Adressregister 4 übernehmen die Signalauslesung der PMD-Pixel 1 , während jeweils zwei weitere horizontale bzw. vertikale Ad ress reg ister 5 und 6 bzw. 7 und 8 die Schalter S1 und ST bzw. S2 und S2' für die Zeilen und Spalten der
Array-Anordnung der PMD-Pixel 1 betätigen. Über die Ansteuerung der Adressregister 3 bis 8 lässt sich jedes gewünschte Pixelmuster konfigurieren.
In den Fig. 4a-d ist beispielhaft dargestellt, wie ein PMD-Bildaufnehmer 2 mit 8x8 PMD-Pixeln 1 in Fig. 4a in die Auflösungen 4x4 in Fig. 4b, 2x2 in Fig. 4c und in ein großes Einzelpixel in Fig. 4d überführt werden kann, um beispielsweise die Entfernung zu einem beleuchteten Objekt trotz schwacher Strahlungsleistung messen zu können. Die Zusammenfassung der PMD-Pixel 1 braucht keinem regelmäßigen Muster zu folgen, sondern kann ebenso frei wählbar und angepasst an die jeweils zu untersuchende Szene vorgenom- men werden. So können z.B. auch einzelne Cluster von PMD-Pixeln 1 in einer sogenannten "Region of Interest (ROI)" geformt werden.
Ein PMD-Bildaufnehmer 2 mit z.B. 32x16 Pixeln kann im Extremfall durch eine elektrische Parallelschaltung sämtlicher photoempfindlicher Flächen der PMD-Pixel 1 zu einem einzigen PMD-Pixel 1 umgewandelt werden, das die 512-fache Bildaufnehmerfläche aufweist. Diese Flächenvergrößerung bewirkt unmittelbar den 512-fachen Photostrom und damit ein drastisch gesteigertes elektrisches Bildaufnehmersignal. Werden weniger PMD-Pixel 1 parallelgeschaltet, so lässt sich der genannte PMD-Bildaufnehmer 2 in seiner lateralen Auflösung innerhalb weiter Grenzen variieren.
Im Unterschied zu der in den Fig. 2 und 4 gezeigten orthogonalen Anordnung können die PMD-Pixel 1 eines PMD-Bildaufnehmers 2 auch hexagonal angeordnet sein, wie aus Fig. 5 hervor geht. Auch in einer solchen Ausführungsform können PMD-Pixel 1 paarweise oder blockweise zusammengefasst werden. Darüber hinaus bietet die hexagonale Anordnung auch den Vorteil, durch Zusammenfassen von jeweils sieben PMD-Pixeln 1 gemäß Fig. 5 ein ebenfalls hexagonales "Übergitter" realisieren zu können. Kreise 9 in Fig. 5 zeigen die PMD-Pixel 1 , die jeweils um ein zentrales PMD-Pixel 1 im Über- gitter angeordnet sind. In einer hexagonalen Anordnung gemäß Fig. 5 ergibt eine Verschaltung mit den Nachbarpixeln 1 insgesamt 24 schaltbare Verbindungen pro PMD-Pixel 1.
Sämtliche Zusammenfassungen von PMD-Pixeln 1, beispielsweise in einer orthogonalen Gitterstruktur nach den Fig. 2 und 4 oder in einer hexagonalen Gitterstruktur nach Fig. 5 können sowohl statisch realisiert als auch dynamisch von einem Bildtakt zum nächsten vorgenommen werden. Eine dynamische Anpassung der Pixelfläche eines Bildaufnehmers 2 ermöglicht es beispielsweise, eine zu untersuchende Szene mit sehr geringer lateraler Auflösung in einem ersten Bildtakt zunächst grob abzutasten. Durch sukzessive Steigerung der Auflösung in den folgenden Bildtakten können dann weitere Detailinformationen über die Szene gewonnen werden.
In schwach reflektierenden Szenen kann z.B. eine Signalschwelle der einzelnen PMD-Pixel 1 definiert werden, die zur sicheren Messung der Entfernungswerte erforderlich ist. Bei Erreichen dieser Signalschwelle wird die weitere dynamische Steigerung der lateralen Auflösung zugunsten eines besseren SignalVRauschverhältnisses dann beendet.
Der Bildaufnehmer 2 ist, wie bereits beschrieben, als Array-Anordnung von vielen PMD-Pixeln 1 ausgeführt. Die einzelnen PMD-Pixel 1 ermöglichen sowohl die Aufnahme von Grauwertbildern wie auch von Entfernungsbildern. Die Anzahl der PMD-Pixel 1 sowie deren Anordnung - orthogonal wie in den
Fig. 2 und 4 oder hexagonal wie in Fig. 5 - und geometrische Abmessungen können an die Aufgabenstellung angepasst werden.
Wesentliches Merkmal des PMD-Bildaufnehmers 2 ist die Eigenschaft, dass die einzelnen PMD-Pixel 1 mit Hilfe einer elektronischen Schaltung, die auf dem PMD-Chip integriert ist, dynamisch zu einem einzigen großflächigen PMD-Pixel (Superpixel) zusammengefasst werden können, wie schematisch in den Fig. 4a-d dargestellt ist. Bei geringer Beleuchtungsintensität liefern die kleinen Einzelpixel 1 des Bildaufnehmers 2 infolge ihrer geringen Fläche noch kein hinreichendes Bildaufnehmersignal. Ein solcher großflächiger Bildaufnehmer 2 hingegen weist eine hohe Lichtempfindlichkeit auf und kann daher auch bei geringer Beleuch- tungsiπtensität zur Entfernungsmessung verwendet werden. Zudem kann bei einem derartigen Superpixel die Auslese des Bildaufnehmersignals viel schneller erfolgen als die sequentielle Auslese sämtlicher Einzelpixel, so dass auch höhere Annäherungsgeschwindigkeiten erfasst werden können.
Die Auslegung des gesamten Sensorsystems erfolgt in einer Weise, dass im Ruhezustand, d.h. bei hindernisfreier Fahrbahn, der PMD-Bildaufnehmer 2 zu einem einzigen großflächigen PMD-Pixel 1 (Superpixel) verschaltet ist. Infolge seiner hohen Lichtempfindlichkeit liefert dieser großflächige Bildaufnehmer 2 bei Annäherung eines Hindernisses oder bei Annäherung an ein Hindernis rechtzeitig den zugehörigen Entfernungswert. Durch wiederholte Messung kann aus der Differenz der erhaltenen Entfernungswerte und der Messzeitpunkte die Annäherungsgeschwindigkeit eines Hindernisses oder an ein Hindernis ermittelt werden.
Ist die Geschwindigkeit ermittelt, wird der Bildaufnehmer 1 in einen anderen Betriebsmodus umgeschaltet, in dem jedes Pixel 1 individuelle Entfemungs- und Grauwerte liefert und somit die Voraussetzungen für eine Objektklassifikation schafft.
Alternativ kann die Umschaltung des Bildaufnehmers 2 auch nach Erreichen einer vorgegebenen Entfernungsschwelle oder einer vorgegebenen minimalen Signalstärke erfolgen.
Falls die Beleuchtungsbedingungen kein hinreichendes Signal der Einzelpixel ermöglichen und daher nur ein stark verrauschtes Bild gewonnen werden kann, wird der Bildaufnehmer 2 wieder zu einem großflächigen Einzelpixel 1 (Superpixel) verschaltet. Durch einen derartigen Adaptionsmechanismus kann die Detektionssicherheit des Systems sehr hoch gehalten werden. Der Adaptionsmechanismus für die beiden Betriebsmodi kann auch mit Hilfe einer zusätzlichen Beleuchtungsmessung realisiert sein, wobei die Elemente zur Beleuchtungsmessung entweder auf dem Bildaufnehmer integriert sind oder diskret angeordnet sind. Das erfindungsgemäße Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen weist die Eigenschaften eines großflächigen Ein-Pixel- Bildaufnehmers zur Abstandsmessung auf und verwendet denselben Bildaufnehmer auch als Bildsensor, mit dem Grauwert- und Entfernungsbilder mit einer Vielzahl von Pixeln aufgenommen werden können.

Claims

Patentansprüche
1. Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen und zur Ermittlung von Entfernungen und Annäherungsgeschwindigkeiten für Fahrzeuge mittels eines Bildaufnehmers (2), dadurch gekennzeichnet, dass im Bildaufnehmer (2) eine Vielzahl von photoempfindlichen Pixelelementen (1) matrixförmig angeordnet und beliebig viele benachbarte Pixelelemente (1) parallel geschaltet werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass bei hindernisfreier Fahrbahn alle photoempfindlichen Pixelelemente (1) des Bildaufnehmers (2) zur Ermittlung von Entfernungen zu einem einzigen großflächigen Pixel (1) parallel geschaltet werden.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass durch wieder- holte Messung aus der Differenz der erhaltenen Entfernungswerte und der
Messzeitpunkte die Annäherungsgeschwindigkeit eines Hindernisses oder an ein Hindernis ermittelt wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass nach Ermittlung der Annäherungsgeschwindigkeit der Bildaufnehmer (2) derart umge- schaltet wird, dass jedes Pixel (1) individuelle Entfernungs- und Grauwerte liefert.
5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildaufnehmer (2) nach Erreichen einer vorgegebenen Entfernungsschwelle umgeschaltet wird.
6. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildaufnehmer (2) nach Erreichen einer vorgegebenen minimalen Signalstärke umgeschaltet wird.
7. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildaufnehmer (2) nach Erreichen einer vorgegebenen minimalen Beleuchtungsintensität umgeschaltet wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Bildauf- nehmer (2) in Abhängigkeit vom Ergebnis einer zusätzlichen Beleuchtungsmessung umgeschaltet wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Vorrichtung zur zusätzlichen Beleuchtungsmessung in den Bildaufnehmer (2) integriert wird.
10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Vorrichtung zur zusätzlichen Beleuchtungsmessung diskret angeordnet wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass als photoempfindliche Pixelelemente (1) PMD-Pixelelemente (1) verwendet werden.
PCT/DE2002/003672 2001-09-27 2002-09-27 Verfahren zur dreidimensionalen erfassung von objekten oder szenen WO2003029839A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10147807.0 2001-09-27
DE10147807A DE10147807A1 (de) 2001-09-27 2001-09-27 Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen

Publications (1)

Publication Number Publication Date
WO2003029839A1 true WO2003029839A1 (de) 2003-04-10

Family

ID=7700580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2002/003672 WO2003029839A1 (de) 2001-09-27 2002-09-27 Verfahren zur dreidimensionalen erfassung von objekten oder szenen

Country Status (2)

Country Link
DE (1) DE10147807A1 (de)
WO (1) WO2003029839A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011045277A1 (de) * 2009-10-12 2011-04-21 Ifm Electronic Gmbh Kamerasystem
DE102012000789A1 (de) 2012-01-17 2013-07-18 Audi Ag Verfahren zum Betrieb eines Fußgängerschutzsystems und Kraftfahrzeug

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006045549B4 (de) * 2006-09-25 2018-01-25 pmdtechnologies ag Transportmittel mit 3D-Kamera
DE102008021465A1 (de) * 2008-04-29 2009-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entfernungsmesssystem
DE102011089629B4 (de) 2010-12-22 2022-08-04 pmdtechnologies ag Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen
DE102013100522A1 (de) * 2013-01-18 2014-08-07 Huf Hülsbeck & Fürst Gmbh & Co. Kg Universelle Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
DE102013100521A1 (de) * 2013-01-18 2014-07-24 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
DE102016122645A1 (de) * 2016-11-24 2018-05-24 Valeo Schalter Und Sensoren Gmbh Empfangseinrichtung für eine optische Detektionsvorrichtung, Detektionsvorrichtung und Fahrerassistenzsystem
EP3789794A1 (de) * 2019-09-04 2021-03-10 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur distanzmessung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4064533A (en) * 1975-10-24 1977-12-20 Westinghouse Electric Corporation CCD focal plane processor for moving target imaging
US5557323A (en) * 1993-12-14 1996-09-17 Mitsubishi Denki Kabushiki Kaisha Distance measuring apparatus
US5874904A (en) * 1996-08-14 1999-02-23 Fuji Electric Co., Ltd. Inter-vehicle distance measurement apparatus
US5883969A (en) * 1995-06-01 1999-03-16 Aerospatiale Societe Nationale Industrielle Procedure and device for detecting the movement of a target and their applications
DE10054676A1 (de) * 1999-11-05 2001-06-13 Denso Corp Photodetektorvorrichtung sowie Abstandsmessvorrichtung und Abstands-/Bildmessvorrichtung hiermit
EP1160725A2 (de) * 2000-05-09 2001-12-05 DaimlerChrysler AG Bildaufnehmer und Bildaufnahmeverfahren, insbesondere zur dreidimensionalen Erfassung von Objekten oder Szenen

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0809395A3 (de) * 1996-05-22 1998-03-18 Eastman Kodak Company CMOS APS mit Matrix-Adressierung und einer kompakten Pixelperiode
DE19704496C2 (de) * 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
DE10022454B4 (de) * 2000-05-09 2004-12-09 Conti Temic Microelectronic Gmbh Bildaufnehmer und Bildaufnahmeverfahren, insbesondere zur dreidimensionalen Erfassung von Objekten und Szenen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4064533A (en) * 1975-10-24 1977-12-20 Westinghouse Electric Corporation CCD focal plane processor for moving target imaging
US5557323A (en) * 1993-12-14 1996-09-17 Mitsubishi Denki Kabushiki Kaisha Distance measuring apparatus
US5883969A (en) * 1995-06-01 1999-03-16 Aerospatiale Societe Nationale Industrielle Procedure and device for detecting the movement of a target and their applications
US5874904A (en) * 1996-08-14 1999-02-23 Fuji Electric Co., Ltd. Inter-vehicle distance measurement apparatus
DE10054676A1 (de) * 1999-11-05 2001-06-13 Denso Corp Photodetektorvorrichtung sowie Abstandsmessvorrichtung und Abstands-/Bildmessvorrichtung hiermit
EP1160725A2 (de) * 2000-05-09 2001-12-05 DaimlerChrysler AG Bildaufnehmer und Bildaufnahmeverfahren, insbesondere zur dreidimensionalen Erfassung von Objekten oder Szenen

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011045277A1 (de) * 2009-10-12 2011-04-21 Ifm Electronic Gmbh Kamerasystem
DE102009045600B4 (de) 2009-10-12 2021-11-04 pmdtechnologies ag Kamerasystem
DE102012000789A1 (de) 2012-01-17 2013-07-18 Audi Ag Verfahren zum Betrieb eines Fußgängerschutzsystems und Kraftfahrzeug
DE102012000789B4 (de) 2012-01-17 2018-08-30 Audi Ag Verfahren zum Betrieb eines Fußgängerschutzsystems und Kraftfahrzeug

Also Published As

Publication number Publication date
DE10147807A1 (de) 2003-04-24

Similar Documents

Publication Publication Date Title
DE4440613C1 (de) Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
DE69232732T2 (de) Messeinrichtung für sich bewegende Körper und Bildverarbeitungsanordnung zum Messen des Verkehrsflusses
DE69729648T2 (de) Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
DE3003992C2 (de) Festkörper-Abbildungsvorrichtung
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE112018005409T5 (de) Festkörper-bildgebungselement, bildgebungseinrichtung und steuerungsverfahren eines festkörper-bildgebungselements
DE112020006100T5 (de) Verfahren zum umschalten des sensormodus in einem ereignisbasierten sensor und einer bildgebungskamera für eine anwendung mit geringem stromverbrauch
WO2010103061A1 (de) Vorrichtung und verfahren zur detektion mindestens eines objektes
WO2003029839A1 (de) Verfahren zur dreidimensionalen erfassung von objekten oder szenen
DE60316114T2 (de) Rekonfigurierbare detektoranordnung
EP1312938A2 (de) Anordnung von Strahlungs-Sensorelementen
DE10022454B4 (de) Bildaufnehmer und Bildaufnahmeverfahren, insbesondere zur dreidimensionalen Erfassung von Objekten und Szenen
EP1160725A2 (de) Bildaufnehmer und Bildaufnahmeverfahren, insbesondere zur dreidimensionalen Erfassung von Objekten oder Szenen
DE4123203C1 (en) Solid state image converter - has radiation sensitive surface with regions of various densities of distribution of elements i.e. of different levels of resolution
DE4444223C5 (de) Sensor zur Erfassung des Bewegungszustandes eines Fahrzeugs relativ zu einer Bezugsfläche
DE112021003436T5 (de) Festkörperbildgebungsvorrichtung und bildgebungsvorrichtung
WO2003030521A1 (de) Bildaufnehmer, insbesondere zur dreidimensionalen erfassung von objekten oder szenen
DE112022001831T5 (de) Festkörper-bildgebungselement, bildgebungsvorrichtung und verfahren zum steuern eines festkörper-bildgebungselements
DE112022003194T5 (de) Bildgebungsvorrichtung, elektronische vorrichtung und lichtdetektionsverfahren
DE102004009627A1 (de) Schaltung für einen aktiven Pixelsensor
DE19613394C1 (de) Bildaufnahmesystem und Verfahren zur Bildaufnahme
EP1537652B1 (de) Photodetektor-anordnung und verfahren zur störlichtkompensation
DE69434241T2 (de) Leseverfahren für Festkörper-Bildsensor
EP0546002B1 (de) Kamerachip für eine punktförmige ereignisse erfassende und auswertende kamera
DE102013211604A1 (de) Verfahren und Steuergerät zum Überwachen eines Erfassungsbereichs einer Kamera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FR GB GR IE IT LU MC NL PT SE SK TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP