WO2002041031A1 - Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung - Google Patents

Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung Download PDF

Info

Publication number
WO2002041031A1
WO2002041031A1 PCT/DE2000/003997 DE0003997W WO0241031A1 WO 2002041031 A1 WO2002041031 A1 WO 2002041031A1 DE 0003997 W DE0003997 W DE 0003997W WO 0241031 A1 WO0241031 A1 WO 0241031A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control unit
image data
sensors
image sensors
Prior art date
Application number
PCT/DE2000/003997
Other languages
English (en)
French (fr)
Inventor
Horst Belau
Thorsten Koehler
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to PCT/DE2000/003997 priority Critical patent/WO2002041031A1/de
Publication of WO2002041031A1 publication Critical patent/WO2002041031A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers

Definitions

  • the invention relates to a device for image data processing and a method for image data processing.
  • a known device for image data processing has an image sensor which records an image line by line and the image data obtained line by line immediately transmit the sensor data of the image sensors to an image control unit via an image data bus.
  • Such an image sensor is also called a "rolling shutter" image sensor.
  • This image control unit usually consists of an ASIC or an FPGA, which processes the image sensor data in real time and buffers it in a buffer (DRAM) via a 32-bit bus.
  • a microcontroller controls the ASIC and the data transmission in the image data processing system. The microcontroller continues to evaluate the image data contained in the buffer.
  • the microcontroller as part of an electronic control unit (ECU), for example for an occupant protection system, performs algorithms to evaluate the received image data.
  • ECU electronice control unit
  • the object of the invention is to provide a simple image data processing system that quickly detects objects with little hardware expenditure.
  • the object of the invention is achieved by the features of the independent claims.
  • the invention includes two image sensors that have a sample and hold device.
  • Such an image sensor can be activated to acquire an image for a predefinable image acquisition period.
  • the image data consisting of individual pixels of a captured image can be stored directly on the image sensor chip in a memory, e.g. a capacitor, can be temporarily stored for a predetermined storage period.
  • the image is, so to speak, "frozen” in the image sensor.
  • Such an image sensor is preferably based on CMOS technology and is also referred to as a "synchronized shutter" image sensor.
  • the frozen image data stored on the image sensors are read out by a control unit.
  • the readout rate of the image data from the image sensors can be adapted to the processing speed of the microcontroller in the control unit.
  • the image area to be captured is illuminated by a very intense and short (infrared) light pulse. This happens during the active image sensors.
  • the negative influence of the additional light component originating from the ambient light for example due to strong sunlight, can be reduced if the duration of the image acquisition is equal to or of the order of the duration of the light pulse.
  • the maximum permissible speed of the objects in the image area to be captured, at which a still sharp image can be captured depends on the maximum duration of the light pulse and the time interval between the light pulses. Each pulse of light illuminates an image.
  • a stereo image or a 3D image of moving objects can be recorded and transmitted to a microcontroller for evaluation for further data processing.
  • the distances between the objects and the image sensors are determined using algorithms.
  • the communication between the image sensor (s) and the microcontroller preferably takes place directly without the interposition of an ASIC, FPGA or similar components.
  • the normal data port of the microcontroller can be selected as the interface between the microcontroller and the image sensor.
  • the data with a data width of preferably 8 to 16 bits are transmitted in parallel.
  • data transmission can also take place serially.
  • An image is preferably stored on the image sensor for 1 to 100 ms.
  • the minimum required image data transmission rate from the image sensors to the control unit depends on the number of images to be transmitted and evaluated per second.
  • the maximum achievable image data transfer rate depends on the maximum data transfer rate that the microcontroller present in the control unit can process.
  • the image information of an image is stored in the buffer of the image sensors and is read out line by line by the control unit if necessary. As a result, the image recording is decoupled from one another in time from the image data transmission.
  • the transmission rate can be adapted to the processing speed of the control unit and can be reduced, for example.
  • the image sensors can be arranged spatially separated from the control unit and connected to one another via a simple data line or wirelessly. This results in a high degree of design freedom, especially when space is limited, for example on the headlining of a vehicle.
  • 1 shows a device for image data processing
  • Figure 2a shows the light pulses for illuminating the to be detected
  • FIG. 2b shows the image data captured by the image sensor
  • FIG. 2c shows a group image signal that is composed of image information from two image sensors
  • 3 shows the time-synchronized sequence between a light pulse, the image acquisition duration, the image storage and the image data transmission.
  • the system for image and image data processing according to FIG. 1 is preferably used in vehicle occupant protection systems.
  • the objects 55 to be recognized in the vehicle compartment are, above all, child seats, the position of child seats and the position of occupants, especially the head of occupants, on the vehicle seat. If a child seat is on a vehicle seat and / or the head of a vehicle occupant is in the vicinity of an airbag, the occupant protection system can be controlled in such a way that the airbag is not or only partially deployed in order to avoid injury to vehicle occupants.
  • FIG. 1 shows a system for image data processing with two image sensors 50, 51, on each of which the image information of an image is recorded pixel by pixel via an optical system in the form of image data on the image sensors 50, 51.
  • An image sensor is constructed, for example, in such a way that it can capture and record a predeterminable image area 49 with the aid of an upstream optical system.
  • the image sensors 50, 51 each have pixels which are arranged in a matrix and on which image information is recorded as a gray value and is stored in a pixel-by-pixel memory, for example one
  • the pixels of the image sensors 50, 51 can be activated or deactivated via control electronics and external control signals, so that the image area 49 to be recorded is recorded by the image sensor 50, 51 for a predeterminable image acquisition period B.
  • the image sensor 50, 51 is preferably constructed as a CMOS sensor.
  • the image recorded by the image sensors 50, 51 can be stored directly in the image memory of the image sensor 50, 51 connected downstream of the pixels via a sample & hold electronics after the image acquisition for a predetermined storage period SD.
  • the image sensor 50, 51 also has an A / D converter, the output of which is connected to the microcontroller of the control unit.
  • the image data are preferably output with a bus width of 8 to 16 bits. In a further embodiment, the image data are output serially.
  • a control unit 40 containing a microcontroller controls the image sensors 50, 51 and reads out the image information recorded by the image sensors 50, 51 as image data, preferably in rows or columns.
  • the control unit 40 has a data interface 42 (data port) which receives the image data.
  • the image data of the two image sensors 50, 51 are transmitted via two separate data lines 45, 46, which means that the use of a nes BUS system with a corresponding BUS control is unnecessary.
  • the control unit 40 controls the image sensors 50, 51 via control lines 47, 48. Control commands are output to the image sensor 50, 51 via the control lines 47, 48, as a result of which the time and the time period B of the image acquisition, the storage time SD for storing the image data on the Image sensor 50, 51 and the transmission of the image data to the microcontroller of the control unit 40 can be controlled.
  • the control unit 40 or the microcontroller preferably has an internally arranged memory 41 (RAM) which internally stores the image data received from the image sensors 50, 51.
  • the image data are first reduced using an algorithm and then stored internally for further processing.
  • the control unit 40 also controls a light source 43, which is preferably designed as an LED or as a laser diode.
  • the light source 43 emits short, intense light pulses LP that illuminate the image area 49 to be captured.
  • the wavelength of the light source 43 is preferably in the infrared range.
  • the objects 55 arranged in the image area 49 reflect the light pulses LP.
  • the reflected light pulses LPR are directed to the pixels of the image sensors 50, 51 via optics upstream of the image sensors.
  • the control unit 40 synchronizes the light source 43 with the image sensors 50, 51.
  • the corresponding chronological sequence of the control and data signals in the image processing system according to FIG. 1 is shown in FIG. 3.
  • FIG. 2 shows the temporal course of the signals when an image is recorded and when the resulting image data are processed.
  • FIG. 2a shows the signals of two successive light pulses 60, 61 which are emitted by the light source 43.
  • the two light pulses 60, 61 shown are short and intense and preferably have a pulse duration PD which is in the range between one microsecond and 300 microseconds and preferably around 150 microseconds.
  • the distance between two successive light pulses 60, 61 is in the millisecond range and depends primarily on the number of images to be recorded per second.
  • a light pulse LP is preferably used for each image to illuminate the one to be captured
  • a light pulse 60, 61 can consist of a plurality of sub-light pulses which take place in quick succession.
  • each image sensor 50, 51 which are preferably arranged in a matrix, capture the reflected light pulses LPR and store this image information pixel by pixel. All image pixels are preferably active simultaneously for a predeterminable acquisition period B for image acquisition. An image sensor with simultaneously active image pixels is also referred to as an image sensor with "synchronized shutter" technology.
  • the storage of the image information recorded in the image pixels takes place in each case on the image sensors 50, 51 and can be analogously on a memory module, e.g. a capacitor, or digitally after conversion by an A / D converter.
  • a digitized gray value is assigned to each image pixel.
  • the stored pixel information which is digitized at the output of the image sensor 50, 51, is read out line by line by the control unit 40, which is symbolized in FIG. 2 b by the digital signals of the lines ZI,..., Zn.
  • the pause PA between two light pulses 60, 61 depends on the number of images to be recorded by the image sensors 50, 51 per second.
  • the storage time SD of an image sensor can extend to the beginning of the next image acquisition and beyond and is, for example, 15 to 30 milliseconds.
  • the image data are transmitted from the image sensors 50, 51 to the control unit 40.
  • two image sensors 50, 51 are preferably used, the optical axes of which are at a predeterminable distance. This makes it possible to record a stereo image from the image area to be captured. A 3D stereo camera can thus be implemented.
  • the control unit 40 processes the image sensor signals or the image data of the image sensors 50, 51 and uses predetermined algorithms to determine the distances between the detected objects 55 and the image sensors 50, 51. This means that the position of individual pixels in space and thus the surface and volume of the detecting objects 55 in the image area 49.
  • the evaluation time of the algorithm can be increased up to 50ms.
  • the control unit 40 determines a plastic 3D image by correlating the image data of the two image sensors 50, 51.
  • line-correlated signals are symbolized as a digitized group signal G, which contain distance information.
  • FIG. 3 shows the chronological sequence of signals of the light pulses LP from the light source 43 and of the control signals on one of the control lines 47, 48 of the image sensors 50, 51.
  • the pixels of the image sensors 50, 51 activated, that is to say that the image sensors are ready for taking an image.
  • the pixels of the image sensors 50, 51 are deactivated (passively) at the earliest after the end of the light pulse LP, that is to say that the image sensors 50, 51 no longer pick up any further light signals.
  • the image acquisition thus ends.
  • the image memory is activated at the earliest after the end of the image acquisition, that is to say the image information (gray values) in the pixels of the image sensor are each transferred to an intermediate memory (capacitor) which is connected downstream of each pixel and which is arranged on the image sensors 50, 51.
  • the picture is thus "frozen”.
  • the storage period SD can be controlled.
  • the image data of the "frozen” image is read out by the control unit 40 in rows or columns.
  • the transmission duration UD of the data transmission of the image data from the image sensors 50, 51 to the control unit 40 depends on the maximum possible data transmission rate of the microcontroller 40 and the respective image sensor 50, 51.
  • the memory content of the image sensors 50, 51 is retained during the data transmission of the image data from the image sensors 50, 51 to the control unit.
  • the transmission period UD is therefore at least within the time window of the storage period SD of the image memory on the corresponding image sensor.
  • the transmission of the image data at the transmission time UT thus begins at the earliest after the storage time SZ at which the image is "frozen” in the image memory and ends before the image memory is deleted.
  • the control unit 40 preferably reads out the image sensors 50, 51 synchronized line by line, so that image data of the image sensors 50, 51 matching one another line by line is present in the data port 42.
  • the nth line of the first image sensor 50 and the nth line of the second sensor 51 can be stored in the data port 42.
  • distance information of the captured image can be calculated line by line and are stored in the internal memory 41 for further processing.
  • the image repetition rate that is to say the number of images that are to be captured per second, can be variably adapted to the requirements, for example the maximum possible data transfer rate of the microcontroller, by the system shown. Due to the short light pulses and the short image acquisition times, rapid movements of an object 49 present in the image area to be captured can also be detected sharply.
  • the minimum required image data transfer rate from the image sensor to the control unit depends on the number of images to be transferred per second. The maximum achievable
  • Image data transfer rate depends on the maximum data transfer rate that the microcontroller present in the control unit can process.
  • the image data are preferably buffered on the image sensors 50, 51 for approximately a storage period SD of 15 to 30 milliseconds.
  • the minimally required image data transmission rate is advantageous in large areas regardless of the speed of the objects 55 to be captured.
  • the two image sensors 50, 51 are preferably active or deactivated at the same time and store the image information at the same storage time SZ and over the same storage period SD.
  • the transmission of the image data to the control unit is preferably carried out synchronously in rows or columns.
  • the control unit 40 actively controls the image sensors 50, 51 and activates the light source 43 to emit a light pulse LP.
  • the light pulse LP is reflected by the object 55, the image information contained in the reflected light pulses LPR being recorded by the image sensors 50, 51.
  • the image acquisition is deactivated.
  • the image acquisition duration B is at least as long as the pulse duration PD of the light pulse LP and is preferably of the order of magnitude of the pulse duration PD, so that the influence of the ambient light is advantageously advantageous due to the high light intensity of the light pulse LP compared to the ambient light ,
  • the image is stored in the image memory on the respective image sensor 50, 51 and frozen.
  • the microcontroller in the control unit 40 reads the data from the image memories of the image sensors 50, 51 and processes them internally or stores them internally in a memory 41.
  • the content of the two image memories 50, 51 can be read out sequentially, so that first entire image content (image data) of one image sensor 50 and then the entire image content of the other image sensor 51 is transmitted to the control unit 40.
  • a line of the one image sensor 50, then a line of the other image sensor 51 and then again the next line of the one image sensor 50 is read out.
  • one line of the one image sensor 50 and the other image sensor 51 are alternately read out.
  • this can also be done in columns.
  • the image information of the image sensors 50, 51 can be read out row by row or column at the same time.
  • the image data thus read out are correlated with one another line by line in the control unit 40, whereby 3D information, for example the distance of the image points of an object 55 from the image sensors, is determined via an algorithm.
  • 3D information for example the distance of the image points of an object 55 from the image sensors
  • the image data of the first and second image sensors 50, 51 are read in parallel independently of one another, stored in the internal memory 41 of the control unit 40 and then correlated with one another via an internal algorithm in the control unit 40.
  • control unit 40 can be implemented by a simple, inexpensive microcontroller, which can also be connected directly to the image sensors 50, 51 without any further components.
  • the light pulse duration PD is very much shorter than the transmission duration UT of the image data transmission.
  • the image data are read out line by line and evaluated synchronously by the microcontroller 40. Special ASICs, SPGAs for data communication can be dispensed with. Communication takes place directly between the microcontroller 40 and the image sensors 50, 51. The circuitry involved in the image sensors 50, 51 is low because only the pixel values are requested by the
  • Control unit 40 are provided at the sensor output.
  • the normal data port 42 of the microcontroller of the control unit 40 can be selected as the interface, for example.
  • the required dynamics between the brightest and weakest light incidence in the image sensor 50, 51 is furthermore advantageously low, since in comparison to the strong light intensity of the light pulse LP, only a slight change in the light intensity during the image acquisition period even when the sun is strongly influenced occurs. As a result, the required gray value resolution of the image sensors 50, 51 is low.

Abstract

Eine Steuereinheit (40) steuert eine Lichtquelle (43) und Bildsensoren (50, 51). Die von der Lichtquelle (43) ausgesandten Lichtpulse werden von den Objekten (55), die im zu erfassenden Bildbereich vorhanden sind, reflektiert und werden von zwei Bildsensoren (50, 51) erfasst. Das so erfasste Bild wird in Form von Bilddaten auf jeweiligen Bildsensor (50, 51) zwischengespeichert. Die gespeicherten Bilddaten werden zur Steuereinheit übertragen und verarbeitet.

Description

Beschreibung
Vorrichtung zur Bilddatenverarbeitung und Verfahren zur Bilddatenverarbeitung
Die Erfindung betrifft eine Vorrichtung zur Bilddatenverarbeitung und ein Verfahren zur Bilddatenverarbeitung.
Eine bekannte Vorrichtung zur Bilddatenverarbeitung weist ei- nen Bildsensor auf, der ein Bild zeilenweise aufnimmt und die zeilenweise gewonnenen Bilddaten sofort über einen Bilddatenbus die Sensordaten der Bildsensoren an eine Bildsteuereinheit übermitteln. Einen solchen Bildsensor nennt man auch "Rolling Shutter"-Bildsensor. Diese Bildsteuereinheit besteht meist aus einem ASIC oder einem FPGA, der die Bildsensordaten in Echtzeit aufbereitet und in einen Zwischenspeicher (DRAM) über einen 32 Bit Bus zwischenspeichert. Ein Mikrokontroller steuert den ASIC und die Datenübertragung in dem Bilddaten- VerarbeitungsSystem. Der Mikrokontroller wertet weiterhin die im Zwischenspeicher enthaltenen Bilddaten aus. Der Mikrokontroller als Teil einer elektronischen Steuereinheit (ECU) beispielsweise für ein Insassenschutzsystem führt Algorithmen die Auswertung der empfangenen Bilddaten durch.
Bei bewegten Bildern steht wegen der zeilenweise Bildaufnahme des Bildsensors für die Aufnahme ein nur begrenzter Zeitraum zur Verfügung, da andernfalls das aufgenommene Bild verwischen würde. Daher müssen auch die gesamten Bilddaten innerhalb des begrenzten Zeitraums übertragen werden, was zu einem hohen Datenaufkommen führt.
Weiterhin ist ein erheblicher Speicherbedarf für die Bilddaten erforderlich.
Aufgabe der Erfindung ist es, ein einfaches Bilddatenverarbeitungssystem bereit zu stellen, das Objekte schnell mit geringem Hardwareaufwand erfasst. Die Aufgabe der Erfindung wird durch die Merkmale der unabhängigen Patentansprüche gelöst.
Die Erfindung beinhaltet zwei Bildsensoren, die über eine Sample & Hold-Vorrichtung verfügen. Ein solcher Bildsensor kann zur Erfassung eines Bildes für eine vorgebbare Bilderfassungsdauer aktiv geschaltet werden. Nach Erfassung eines Bildes können die aus einzelnen Pixeln bestehenden Bilddaten eines erfassten Bildes direkt auf dem Bildsensorchip in einem Speicher, z.B. einem Kondensator, für eine vorgebare Speicherdauer zwischengespeichert werden. Das Bild wird sozusagen im Bildsensor "eingefroren". Ein derartig ausgebildeter Bildsensor ist vorzugsweise auf CMOS-Technologie aufgebaut und wird als auch "Synchronized Shutter"-Bildsensor bezeichnet.
Die eingefrorenen und auf den Bildsensoren gespeicherten Bilddaten werden von einem Steuergerät ausgelesen. Die Ausleserate der Bilddaten aus den Bildsensoren kann dabei an die Verarbeitungsgeschwindigkeit des Mikrokontrollers im Steuergerät angepasst werden.
Weiterhin ist es vorgesehen, den zu erfassenden Bildbereich durch einen sehr intensiven und kurzen (Infrarot-) Lichtpuls zu beleuchten. Dies geschieht während der aktiv geschalteten Bildsensoren. Der negative Einfluss des zusätzlich vom Umgebungslicht herrührenden Lichtanteils, beispielsweise durch starkes Sonnenlicht, ist dabei reduzierbar, wenn die Bilderfassungsdauer gleich oder in der Größenordnung der Dauer des Lichtpulses ist. Durch die extrem kurze Belichtungszeit im Bereich von lμs bis 300μs ist auch ein Bild mit bewegten Objekten scharf erfassbar. Die maximale zulässige Geschwindigkeit der Objekte im zu erfassenden Bildbereichs, bei der ein noch scharfes Bild erfassbar ist, hängt von der maximalen Dauer des Lichtpulses und dem zeitlichen Abstand der Lichtpulse voneinander ab. Dabei beleuchtet jeder Lichtpuls ein Bild. Durch den Einsatz von zwei Bildsensoren, deren optischen Achsen einen vorgebbaren Abstand aufweisen, kann ein Stereobild bzw. ein 3-D-Bild von beweglichen Objekten aufgenommen werden und zur weiteren Datenverarbeitung an einen Mikrokontroller zur Auswertung übermittelt werden. Mit Hilfe von Algorithmen werden die Abstände der Objekte zu den Bildsensoren ermittelt.
Die Kommunikation zwischen dem Bildsensor/den Bildsensoren und dem Mikrokontroller erfolgt vorzugsweise direkt ohne Zwischenschaltung eines ASIC 's, FPGA's oder ähnlichen Bausteinen. Als Schnittstelle zwischen Mikrokontroller und Bildsensor kann beispielsweise der normale Datenport des Mikro- kontrollers ausgewählt werden. In der Regel werden die Daten mit einer Datenbreite von vorzugsweise 8 bis 16 Bit parallel übertragen. Die Datenübertragung kann aber auch seriell erfolgen.
Vorzugsweise wird ein Bild für 1 bis 100 ms auf dem Bildsensor gespeichert.
Die minimal erforderliche Bilddatenübertragungsrate von den Bildsensoren zur Steuereinheit ist abhängig von der Anzahl der pro Sekunde zu übertragenden und auszuwertenden Bildern. Die maximal erzielbare Bilddatenübertragungsrate hängt von der maximalen Datenübertragungsrate ab, die der in der Steuereinheit vorhandene Mikrokontroller verarbeiten kann.
Die Bildinformation eines Bildes ist im Zwischenspeicher der Bildsensoren abgelegt und wird bei Bedarf von der Steuereinheit zeilenweise ausgelesen. Dadurch wird die Bildaufnahme von der Bilddatenübertragung zeitlich voneinander entkoppelt . Die Übertragungsrate kann an die Verarbeitungsgeschwindigkeit der Steuereinheit angepasst werden und beispielsweise gesenkt werden kann. Weiterhin können durch die geringe mögliche Übertragungsrate zwischen den Bildsensoren und dem in der Steuereinheit angeordneten Mikrokontroller die Bildsensoren räumlich getrennt von der Steuereinheit angeordnet und über eine einfache Da- tenleitung oder drahtlos miteinander verbunden sein. Dadurch ergibt sich vor allem bei geringem Platzangebot, beispielsweise am Dachhimmel eines Fahrzeugs, eine hohe Gestaltungsfreiheit .
Ausführungsbeispiele und Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Die Erfindung wird in der Zeichnung erläutert, es zeigen
Figur 1 eine Vorrichtung zur Bilddatenverarbeitung;
Figur 2a die Lichtpulse zur Beleuchtung des zu erfassenden
Bildbereichs; Figur 2b die vom Bildsensor erfassten Bilddaten; Figur 2c ein Gruppenbildsignal, dass sich zusammensetzt aus Bildinformationen von zwei Bildsensoren; und
Figur 3 der zeitlich synchronisierte Ablauf zwischen einem Lichtpuls, der Bilderfassungsdauer, der Bildspei- cherung und der Bilddatenübertragung.
Vorzugsweise wird das System zur Bild- und Bilddatenverarbeitung gemäß der Figur 1 bei Insassenschutzsystemen von Fahrzeugen eingesetzt. Als zu erkennende Objekte 55 im Fahrzeugraum sind hier vor allem Kindersitze, die Position von Kindersitzen und die Position von Insassen, vor allem des Kopfes von Insassen, auf dem Fahrzeugsitz zu nennen. Befindet sich ein Kindersitz auf einem Fahrzeugsitz und/oder befindet sich der Kopf eines Fahrzeuginsassen in der Nähe eines Airbags, so kann das Insassenschutzsystem so gesteuert werden, dass der Airbag nicht oder nur teilweise ausgelöst wird, um eine Ver- letzung von Fahrzeuginsassen zu vermeiden. Figur 1 zeigt ein System zur Bilddatenverarbeitung mit zwei Bildsensoren 50, 51, auf denen jeweils die Bildinformation eines Bildes über eine Optik pixelweise aufgenommen werden in Form von Bilddaten auf den Bildsensoren 50,51 gespeichert werden. Ein Bildsensor ist beispielhaft so aufgebaut, dass er mit Hilfe einer vorgeschalteten Optik einen vorgebbaren Bildbereich 49 erfassen und aufnehmen kann. Die Bildsensoren 50, 51 weisen jeweils Pixel auf, die matrixförmig angeordnet sind und auf denen Bildinformationen als Grauwert aufgenommen und in einem pixelweise nachgeschalteten Speicher, z.B. einem
Kondensator, gespeichert werden. Über eine -Ansteuerelektronik und externe Steuersignale sind die Pixel der Bildsensoren 50, 51 aktivierbar oder deaktivierbar, so dass für eine vorgebare Bilderfassungsdauer B der zu erfassende Bildbereich 49 vom Bildsensor 50,51 aufgenommen wird. Der Bildsensor 50, 51 ist vorzugsweise als CMOS-Sensor aufgebaut.
Über eine Sample & Hold- Elektronik ist das von den Bildsensoren 50, 51 aufgenommene Bild nach der Bilderfassung für ei- ne vorgebare Speicherdauer SD direkt in dem den Pixeln nachgeschalteten Bildspeicher des Bildsensors 50,51 speicherbar.
Der Bildsensor 50,51 weist weiterhin einen A/D-Wandler auf, dessen Ausgang an den MikroController der Steuereinheit ver- bunden ist. Die Bilddaten werden vorzugsweise mit einer Busbreite von 8 bis 16 Bit ausgegeben. In einer weiteren Ausführungsform werden die Bilddaten seriell ausgegeben.
Eine einen Mikrokontroller enthaltende Steuereinheit 40 steu- ert die Bildsensoren 50, 51 und liest die von den Bildsensoren 50, 51 aufgenommenen Bildinformationen als Bilddaten vorzugsweise zeilen- oder spaltenweise aus.
Die Steuereinheit 40 weist eine Datenschnittstelle 42 (Daten- port) auf, die die Bilddaten empfängt. Dabei werden die Bilddaten der beiden Bildsensoren 50,51 über zwei getrennte Datenleitungen 45, 46 übertragen, wodurch sich der Einsatz ei- nes BUS-Systems mit einer entsprechenden BUS-Steuerung erübrigt.
Die Steuereinheit 40 steuert über Steuerleitungen 47, 48 die Bildsensoren 50, 51. Über die Steuerleitungen 47, 48 werden Steuerbefehle an den Bildsensor 50, 51 ausgegeben, wodurch der Zeitpunkt und die Zeitdauer B der Bilderfassung, die Speicherdauer SD der Speicherung der Bilddaten auf dem Bildsensor 50,51 und die Übertragung der Bilddaten an den Mikro- kontroller der Steuereinheit 40 gesteuert werden. Die Steuereinheit 40 bzw. der Mikrokontroller weist vorzugsweise einen intern angeordneten Speicher 41 (RAM) auf, der die von den Bildsensoren 50,51 empfangenen Bilddaten intern abspeichert. In einer weiteren Ausführungsform werden die Bilddaten zuerst mit Hilfe eines Algorithmus reduziert und dann intern zur weiteren Verarbeitung abgespeichert.
Die Steuereinheit 40 steuert weiterhin eine Lichtquelle 43, die vorzugsweise als LED oder als Laserdiode ausgebildet ist. Die Lichtquelle 43 gibt kurze, intensive Lichtpulse LP ab, die den zu erfassenden Bildbereich 49 ausleuchten. Die Wellenlänge der Lichtquelle 43 liegt vorzugsweise im Infrarotbereich. Die im Bildbereich 49 angeordneten Objekte 55 reflektieren die Lichtpulse LP. Die reflektierten Lichtpulse LPR werden über eine den Bildsensoren vorgeschaltete Optik auf die Pixel der Bildsensoren 50,51 geleitet.
Die Steuereinheit 40 synchronisiert die Lichtquelle 43 mit den Bildsensoren 50, 51. Der entsprechende zeitliche Ablauf der Steuer- und Datensignale im Bildverarbeitungssystem gemäß Figur 1 ist in der Figur 3 dargestellt.
Figur 2 zeigt den zeitlichen Ablauf der Signale bei der Aufnahme eines Bildes und bei der Verarbeitung der dabei entste- henden Bilddaten. Figur 2a zeigt die Signale zweier aufeinanderfolgender Lichtpulse 60, 61 die von der Lichtquelle 43 ausgesandt werden. Die beiden dargestellten Lichtpulse 60, 61 sind kurz und intensiv und weisen vorzugsweise eine Pulsdauer PD auf, die im Bereich zwischen einer Mikrosekunde und 300 Mikrosekunden und bevorzugt bei etwa 150 Mikrosekunden liegt. Der Abstand zweier aufeinanderfolgender Lichtpulse 60, 61 liegt im Millisekunden-Bereich und hängt vor allem von der Anzahl der pro Sekunde aufzunehmenden Bilder auf. Dabei wird pro Bild vorzugs- weise ein Lichtpuls LP zur Beleuchtung des zu erfassenden
Bildbereichs 49 verwendet. Die Beleuchtung beginnt vorzugsweise gleichzeitig für alle Bildpixel.
In einer weiteren Ausführungsform kann ein Lichtpuls 60,61 aus mehreren kurz hintereinander erfolgenden Unterlichtpulsen bestehen.
Die vorzugsweise matrixför ig angeordneten Bildpixel eines jeden Bildsensors 50, 51 erfassen die reflektierten Lichtpul- se LPR und speichern diese Bildinformationen pixelweise. Dabei sind für die Bilderfassung alle Bildpixel vorzugsweise gleichzeitig für einen vorgebbaren Erfassungszeitraum B aktiv. Ein Bildsensor mit gleichzeitig aktiven Bildpixeln wird auch als Bildsensor mit "Synchronized Shutter"-Technologie bezeichnet. Die Speicherung der in den Bildpixel erfassten Bildinformationen findet jeweils auf den Bildsensoren 50,51 statt und kann analog auf einem Speicherbaustein, z.B. einem Kondensator, oder digital nach Umwandlung durch einen A/D- Wandler erfolgen.
Jedem Bildpixel ist ein digitalisierter Grauwert zugeordnet. Die gespeicherten und am Ausgang des Bildsensors 50,51 digitalisierten Pixelinformationen werden von der Steuereinheit 40 zeilenweise ausgelesen, was in Figur 2b durch die digita- len Signale der Zeilen ZI, ..., Zn symbolisiert ist. Die Pause PA zwischen zwei Lichtpulsen 60, 61 hängt von der Anzahl der Bilder ab, die pro Sekunde von den Bildsensoren 50, 51 aufgenommen werden sollen.
Die Speicherdauer SD eines Bildsensors kann bis zum Beginn der nächsten Bilderfassung und darüber hinaus reichen und beträgt beispielsweise 15 bis 30 Millisekunden. Während der Speicherdauer SD werden die Bilddaten von den Bildsensoren 50, 51 auf die Steuereinheit 40 übertragen.
In dem System zur Bildverarbeitung gemäß Figur 1 werden vorzugsweise zwei Bildsensoren 50, 51 eingesetzt, deren optischen Achsen einen vorgebbaren Abstand aufweisen. Dadurch ist es möglich, ein Stereobild von dem zu erfassenden Bildbereich aufzunehmen. Somit ist eine 3D Stereokamera realisierbar.
Die Steuereinheit 40 verarbeitet die Bildsensorsignale bzw. die Bilddaten der Bildsensoren 50, 51 und ermittelt über vorgegebene Algorithmen die Abstände der erfassten Objekte 55 zu den Bildsensoren 50, 51. Dadurch ist die Position einzelner Bildpunkte im Raum und damit die Oberfläche und das Volumen der zu erfassenden Objekte 55 im Bildbereich 49 ermittelbar. Die Auswertungszeit des Algorithmusses kann auf bis zu 50ms erhöht werden.
Durch die Korrelation der Bilddaten der beiden Bildsensoren 50, 51 ermittelt somit die Steuereinheit 40 ein plastisches 3D-Bild. In Figur 2c sind zeilenweise-korrelierte Signale als ein digitalisiertes Gruppensignal G symbolisiert, die Ab- Standsinformationen enthalten.
Figur 3 zeigt den zeitlichen Ablauf Signale der Lichtpulse LP der Lichtquelle 43, der Steuersignale auf einer der Steuerleitungen 47,48 der Bildsensoren 50,51.
Zu oder vor dem Beginn des Lichtpulses LP der Lichtquelle 43 mit der Pulsdauer PD werden die Pixel der Bildsensoren 50, 51, aktiv geschaltet, das heißt dass die Bildsensoren für die Aufnahme eines Bildes bereit sind. Frühestens nach Ende des Lichtpulses LP werden die Pixel der Bildsensoren 50, 51 deaktiviert (passiv), das heißt dass die Bildsensoren 50, 51 kei- ne weiteren Lichtsignale mehr aufnehmen. Nach Deaktivierung der Bildsensoren50, 51 endet somit die Bilderfassung. Frühestens nach Ende der Bilderfassung wird der Bildspeicher aktiviert, das heißt die Bildinformation (Grauwerte) in den Pixeln des Bildsensors werden jeweils in einen Zwischenspeicher (Kondensator) übertragen, der jedem Pixel nachgeschaltet ist und der auf den Bildsensoren 50, 51 angeordnet ist. Das Bild wird somit "eingefroren". Die Speicherdauer SD ist dabei steuerbar. Die Bilddaten des "eingefrorenen" Bildes wird von der Steuereinheit 40 zeilen- oder spaltenweise ausgelesen. Die Ubertragungsdauer UD der Datenübertragung der Bilddaten von den Bildsensoren 50,51 zur Steuereinheit 40 hängt von der maximal möglichen Datenübertragungsrate des Mikrokontrolles 40 und des jeweiligen Bildsensors 50, 51 ab. Während der Datenübertragung der Bilddaten von den Bildsensoren 50, 51 zur Steuereinheit bleibt der Speicherinhalt der Bildsensoren 50, 51 erhalten. Die Übertragungsdauer UD liegt somit mindestens innerhalb des Zeitfensters der Speicherdauer SD des Bildspeichers auf dem entsprechenden Bildsensor. Somit beginnt die Ü- bertragung der Bilddaten zum ÜbertragungsZeitpunkt UT frühes- tens nach dem SpeieherZeitpunkt SZ, zu dem das Bild im Bildspeicher "eingefroren" wird und endet vor dem Löschen des Bildspeichers .
Vorzugsweise liest die Steuereinheit 40 die Bildsensoren 50, 51 zeilenweise synchronisiert aus, so dass im Datenport 42 zeilenweise zueinander passende Bildinformationen der Bildsensoren 50, 51 vorhanden sind. So können beispielsweise die n-te Zeile des ersten Bildsensors 50 und die n-te Zeile des zweiten Sensors 51 im Datenport 42 gespeichert sein. Durch einen zeilenweise ausführbaren Algorithmus können so zeilen- weise Abstandsinformationen des erfassten Bildes errechnet werden und in dem internen Speicher 41 zur weiteren Verarbeitung abgelegt werden.
Die Bildwiderholrate, das heißt die Anzahl der Bilder, die pro Sekunde erfasst werden sollen, ist durch das dargestellte System variabel an die Anforderungen, beispielsweise der maximal möglichen Datenübertragungsrate des Mikrokontrollers, anpassbar. Durch die kurzen Lichtpulse und die kurzen Bilderfassungszeiten sind auch schnelle Bewegungen eines im zu er- fassenden Bildbereich vorhandenen Objekts 49 scharf erfassbar.
Die minimal erforderliche Bilddatenübertragungsrate vom Bildsensor zur Steuereinheit ist abhängig von der Anzahl der pro Sekunde zu übertragenden Bildern. Die maximal erzielbare
Bilddatenübertragungsrate hängt von der maximalen Datenübertragungsrate ab, die der in der Steuereinheit vorhandene Mikrokontroller verarbeiten kann.
Die Bilddaten werden auf den Bildsensoren 50, 51 vorzugsweise etwa für eine Speicherdauer SD von 15 bis 30 Millisekunden zwischengespeichert .
Vorteilhaft ist die minimal erforderliche Bilddatenübertra- gungsrate in großen Bereichen unabhängig von der Geschwindigkeit der zu erfassenden Objekte 55.
Vorzugsweise sind die beiden Bildsensoren 50, 51 zum gleichen Zeitpunkt aktiv bzw. deaktiv und speichern die Bildinformati- onen zum gleichen SpeieherZeitpunkt SZ und über die gleiche Speicherdauer SD. Die Übertragung der Bilddaten zur Steuereinheit erfolgt vorzugsweise zeilen- oder spaltenweise synchron.
In dem Verfahren zur Bilddatenverarbeitung steuert die Steuereinheit 40 die Bildsensoren 50, 51 aktiv und aktiviert die Lichtquelle 43 zur Aussendung eines Lichtpulses LP. Der Lichtpuls LP wird vom Objekt 55 reflektiert, wobei die in den reflektierten Lichtpulsen LPR enthaltenen Bildinformationen von den Bildsensoren 50,51 aufgenommen werden. Nach Ende des Lichtpulses LP wird die Bilderfassung deaktiviert. Die Bil- derfassungsdauer B ist mindestens so lang wie die Pulsdauer PD des Lichtpulses LP und liegt vorzugsweise in der Größenordnung der Pulsdauer PD, so dass vorteilhaft allein schon durch die im Vergleich zum Umgebungslicht hohen Lichtintensität des Lichtpulses LP der Einfluss des Umgebungslichts ge- ring ist.
Nach Ende der Bilderfassung wird das Bild in dem Bildspeicher auf dem jeweiligen Bildsensor 50, 51 gespeichert und eingefroren. Der Mikrokontroller in der Steuereinheit 40 liest die Daten aus den Bildspeichern der Bildsensoren 50, 51 aus und verarbeitet sie intern weiter oder speichert sie intern in einen Speicher 41. Das Auslesen des Inhaltes der beiden Bildspeicher 50, 51 kann sequentiell erfolgen, so dass zuerst der gesamte Bildinhalt (Bilddaten) des einen Bildsensors 50 und dann der gesamte Bildinhalt des anderen Bildsensors 51 an die Steuereinheit 40 übertragen wird.
In einer weiteren Ausführungsform wird eine Zeile des einen Bildsensors 50, danach eine Zeile des anderen Bildsensors 51 und daraufhin wieder die nächste Zeile des einen Bildsensors 50 ausgelesen. Somit werden jeweils abwechselnd je eine Zeile des einen Bildsensors 50 und des anderen Bildsensors 51 ausgelesen. Dies kann alternativ auch spaltenweise erfolgen. Weiterhin können die Bildinformationen der Bildsensoren 50, 51 zeilen- oder spaltenweise gleichzeitig ausgelesen werden.
Die so ausgelesenen Bilddaten werden zeilenweise in der Steuereinheit 40 miteinander korreliert, wodurch über einen Algorithmus 3D-Informationen, z.B. der Abstand der Bildpunkte ei- nes Objekts 55 von den Bildsensoren, ermittelt werden. In einer weiteren Ausführungsform werden die Bilddaten des ersten und des zweiten Bildsensors 50, 51 unabhängig voneinander parallel eingelesen, in dem internen Speicher 41 der Steuereinheit 40 abgelegt und dann über einen internen Algo- rithmus im Steuergerät 40 miteinander korreliert.
Ein Vorteil der Erfindung ist es, dass die Steuereinheit 40 durch einen einfachen, kostengünstigen Mikrokontroller realisiert werden kann, der zudem direkt ohne weitere zwischenge- schaltete Bauelemente an die Bildsensoren 50, 51 angeschlossen werden kann.
Die Lichtpulsdauer PD ist sehr viel kleiner als die Übertragungsdauer UT der Bilddatenübertragung. Die Bilddaten werden zeilenweise ausgelesen und synchron vom Mikrokontroller 40 ausgewertet. Auf spezielle ASICs, SPGAs für die Datenkommunikation kann dabei verzichtet werden. Die Kommunikation erfolgt direkt zwischen Mikrokontroller 40 und den Bildsensoren 50, 51. Der Schaltungsaufwand bei den Bildsensoren 50, 51 ist gering, weil lediglich die Pixelwerte auf Anforderung der
Steuereinheit 40 am Sensorausgang bereit gestellt werden. Als Schnittstelle kann beispielsweise der normale Datenport 42 des Mikrokontrollers der Steuereinheit 40 ausgewählt werden.
Durch die starken Lichtpulse LP der Lichtquelle 43 ist weiterhin vorteilhaft die erforderliche Dynamik zwischen hellstem und schwächsten Lichteinfall im Bildsensor 50, 51 gering, da im Vergleich zur starken Lichtintensität des Lichtpulses LP auch bei starkem Einfluss der Sonneneinstrahlung nur eine geringe Änderung der Lichtintensität während des Bilderfassungszeitraums auftritt. Dadurch ist die erforderliche Grauwerte-Auflösung der Bildsensoren 50, 51 gering.

Claims

Patentansprüche
1. Vorrichtung zur Bilddatenverarbeitung, insbesondere für den Einsatz in einem Insassenschutzsystem eines Fahr- zeugs, mit
- einer Lichtquelle (43), die Lichtpulse (LP) aussendet und einen zu erfassenden Bildbereich (49) beleuchtet,
- mindestens zwei Bildsensoren (50,51), die die von den Objekten (55) im Bildbereich (49) reflektierten Licht- pulse (LPR) aufnehmen und die Bildinformationen der Objekte (55) erfassen, wobei
- auf den Bildsensoren (50,51) jeweils ein Zwischenspeicher vorhanden ist, in dem die Bildinformationen für eine vorgegebene Speicherdauer (SD) zwischengespeichert werden, und
- die Bildsensoren (50,51) mit einer Steuereinheit (40) verbunden sind, wobei die zwischengespeicherten Bildinformationen auf die Steuereinheit (40) übertragen werden.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bildinformationen der Objekte (55) von den Bildsensoren (50, 51) im Wesentlichen gleichzeitig erfasst werden.
3. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Lichtpuls (LP) eine vorgegebene Pulsdauer (PD) aufweist, und
- die Bildsensoren (50; 51) pro Lichtpuls (LP) ein Bild aufnehmen.
4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Pulsdauer (PD) im Bereich zwischen lμs und 300 μs, vorzugsweise bei etwa 150 μs liegt.
5. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Pulsdauer (PD) des Lichtpulses (LP) abhängt von der maximalen Geschwindigkeit des zu erfassenden Objekts.
Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Pulsabstand bzw. die Pause (PA) zwischen zwei Lichtpulsen (LP) , die zur Erfassung von zeitlich aufeinanderfolgenden Bildern dienen, von der maximalen Geschwindigkeit des zu erfassenden Objekts (55) abhängt .
7. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bilddaten eine Datenbreite zwischen 8 bis 16 Bit aufweisen und parallel und/oder seriell zur Steuerein- heit (40) übertragen werden.
8. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die optischen Achsen von zwei Bildsensoren (50; 51) einen vorgebbaren Abstand aufweisen, die von den zwei Bildsensoren (50,51) aufgenommenen Bilddaten an die Steuereinheit (40) übertragen werden, wobei die Steuereinheit (40) die Bilddaten der Bildsensoren (50, 51) in der Steuereinheit (40) auswertet, um den Abstand der Bildpunkte eines Objekts (55) von den Bildsensoren (50,51) zu ermitteln.
9. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass mehr als zwei Bildsensoren (50; 51) vorhanden sind.
10. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bilddaten direkt von den Bildsensoren (50; 51) zum Mikrokontroller der Steuereinheit (40) übertragen werden.
11. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bildsensoren (50; 51) räumlich getrennt von der Steuereinheit (40) angeordnet sind.
12. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die minimal erforderliche Bilddatenübertragungsrate der Bilddaten vom Bildsensor (50; 51) zur Steuereinheit (40) abhängig ist von der Anzahl der pro Sekunde zu übertragenden Bildern.
13. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die maximal erzielbare Bilddatenübertragungsrate vom
Bildsensor (50; 51) zur Steuereinheit (40) von der maximale Datenübertragungsrate abhängt, die der in der Steuereinheit (40) vorhandene Mikrokontrollers verarbeiten kann.
14. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Bildsensor aus mindestens vier Bildsensorelementen, Bildpixel genannt, aufgebaut ist, - die Bildsensorelemente matrixförmig angeordnet sind, die Bilddaten eines aufgenommenen Bildes auf dem jeweiligen Bildsensor (50; 51) über eine vorgebbare Speicherdauer (SD) gespeichert werden, und die von einem Bildpixel erfassten analogen Grauwerte auf dem Bildsensor (50,51) in digitale Grauwerte umgewandelt werden.
15. Verfahren zur Bilddatenverarbeitung, insbesondere für den Einsatz in einem Insassenschutzsystem eines Fahr- zeugs, bei dem ein Lichtpuls (60) einer Lichtquelle (43) den zu erfassenden Bildbereich (49) beleuchtet, zwei Bildsensoren (50; 51) ein Bild aufnehmen, das von dem Lichtpuls (60) beleuchtet wird,
- die Bildinformationen des Bildes als Bilddaten zu einem vorgebbaren Speicherzeitpunkt für eine vorgebbare Speicherdauer (SD) auf dem Bildsensor oder den Bildsensoren (50; 51) gespeichert werden, die Bilddaten eines Bildes zu einem vorgebbaren Übertragungszeitpunkt (UT) an einen Mikrokontroller übertragen werden, - ein weiterer Lichtpuls (61) nach einer vorgebbaren
Pause (PA) dem Lichtpuls (60) folgt und den zu erfassenden Bildbereich (49) beleuchtet,
- die zwei Bildsensoren (50; 51) ein weiteres Bild aufnehmen, das von dem weiteren Lichtpuls (60) beleuch- tet wird, und die Bilddaten der Bilder an eine Steuereinheit (40) übertragen wird.
16. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Bilddaten in der Steuereinheit (40) ausgewertet und/oder gespeichert werden.
17. Verfahren nach einem der vorherigen Verfahrensansprüche, dadurch gekennzeichnet, dass im Bildbereich die Art und die Position von Objekten erfasst werden.
18. Verfahren nach einem der vorherigen Verfahrensansprüche, dadurch gekennzeichnet, dass der Lichtpuls (LP)
- eine vorgegebene Pulsdauer (PD) aufweist, und - der Bildsensor (50; 51) pro Lichtpuls (LP) ein Bild aufnimmt.
19. Verfahren nach einem der vorherigen Verfahrensansprüche, dadurch gekennzeichnet, dass die maximale Pulsdauer (PD) des Lichtpulses abhängt von der maximalen Geschwindigkeit des zu erfassenden Objekts.
20. Vorrichtung oder Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Objekte (55) im Bildbereich (49) Fahrzeuginsassen und/oder Kindersitze im Bereich des Fahrzeugraums darstellen.
21. Vorrichtung oder Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bildinformationen in Bilddaten umgewandelt werden.
PCT/DE2000/003997 2000-11-14 2000-11-14 Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung WO2002041031A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/DE2000/003997 WO2002041031A1 (de) 2000-11-14 2000-11-14 Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/DE2000/003997 WO2002041031A1 (de) 2000-11-14 2000-11-14 Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung

Publications (1)

Publication Number Publication Date
WO2002041031A1 true WO2002041031A1 (de) 2002-05-23

Family

ID=5648013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2000/003997 WO2002041031A1 (de) 2000-11-14 2000-11-14 Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung

Country Status (1)

Country Link
WO (1) WO2002041031A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004100551A1 (de) * 2003-05-08 2004-11-18 Siemens Aktiengesellschaft Verfahren und vorrichtung zum erfassen eines objektes oder einer person
WO2014011945A1 (en) * 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
WO2014009945A1 (en) * 2012-07-09 2014-01-16 Brightway Vision Ltd. Stereo gated imaging system and method
EP2296367B1 (de) * 2009-08-17 2016-08-31 Sony Corporation Bilderfassungsvorrichtung und Bilderfassungsverfahren

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0768543A2 (de) * 1995-10-11 1997-04-16 Canon Kabushiki Kaisha Entfernungsmessgerät
WO1997026761A1 (en) * 1996-01-16 1997-07-24 Visidyne, Inc. Improved three-dimensional imaging system
DE19704496A1 (de) * 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
WO1999034235A1 (de) * 1997-12-23 1999-07-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE19945645A1 (de) * 1998-09-25 2000-04-20 Honda Motor Co Ltd Vorrichtung zum Erfassen der Belegung eines Fahrzeugsitzes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0768543A2 (de) * 1995-10-11 1997-04-16 Canon Kabushiki Kaisha Entfernungsmessgerät
WO1997026761A1 (en) * 1996-01-16 1997-07-24 Visidyne, Inc. Improved three-dimensional imaging system
DE19704496A1 (de) * 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
WO1999034235A1 (de) * 1997-12-23 1999-07-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE19945645A1 (de) * 1998-09-25 2000-04-20 Honda Motor Co Ltd Vorrichtung zum Erfassen der Belegung eines Fahrzeugsitzes

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004100551A1 (de) * 2003-05-08 2004-11-18 Siemens Aktiengesellschaft Verfahren und vorrichtung zum erfassen eines objektes oder einer person
EP2296367B1 (de) * 2009-08-17 2016-08-31 Sony Corporation Bilderfassungsvorrichtung und Bilderfassungsverfahren
WO2014009945A1 (en) * 2012-07-09 2014-01-16 Brightway Vision Ltd. Stereo gated imaging system and method
US10390004B2 (en) 2012-07-09 2019-08-20 Brightway Vision Ltd. Stereo gated imaging system and method
WO2014011945A1 (en) * 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light

Similar Documents

Publication Publication Date Title
EP1040366B1 (de) Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
EP3729137B1 (de) Multipuls-lidarsystem zur mehrdimensionalen erfassung von objekten
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
AT412028B (de) Einrichtung zur aufnahme eines objektraumes
EP2263103B1 (de) Optischer abstandsmesser und verfahren zur optischen abstandsmessung
DE19757595A1 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE102005033863A1 (de) Bildaufnahmesystem
WO2004100551A1 (de) Verfahren und vorrichtung zum erfassen eines objektes oder einer person
WO2019197241A1 (de) Verfahren zur ansteuerung von sensorelementen eines lidar messsystems
EP1575808B1 (de) Bildgeber
WO2002041031A1 (de) Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
DE4436447A1 (de) Verfahren und Vorrichtung zur elektrooptischen Entfernungsmessung
DE3232179C1 (de) Einrichtung zum optischen Erkennen von Flaechenmustern an Objekten
DE4447434A1 (de) CCD-Sensor für schnelles Auslesen von Bildzonen oder -zeilen
WO2020234216A1 (de) Betriebsverfahren und steuereinheit für eine spad-basierte detektoranordnung, lidar-system und arbeitsvorrichtung
EP1390913B1 (de) Vorrichtung und verfahren zur verarbeitung von bilddaten
DE102012104131A1 (de) Automatische anpassung der ansteuerung eines insbesondere für fahrerassistenzsysteme vorgesehenen imagers an äussere einflüsse
DE10025897B4 (de) Verfahren zum Betreiben einer optoelektronischen Sensoranordnung und optoelektronische Sensoranordnung
DE102020206018A1 (de) Verfahren und Vorrichtung zum Synchronisieren von Umfeldsensoren eines Fortbewegungsmittels
DE19839830A1 (de) Verfahren zur hochpräzisen optischen Distanzmessung mittels einer regelbaren Punktlichtquelle und mehrkanaligen CCD-Sensoranordnungen auf der Basis optischer Triangulation und punktweiser Abtastung, insbesondere zum berührungslosen Vermessen von dreidimensionalen Objekten
DE102017127129A1 (de) System und Verfahren zum Überprüfen von zumindest einer Funktionseigenschaft einer Laserscaneinrichtung für Fahrzeuge
DE4405865A1 (de) CCD-Sensorsystem für Bahnverfolgung von Handhabungssystemen
WO2005026774A1 (de) Umgebungsüberwachungssystem mit nachtsichteinheit und entfernungsmesseinheit
DE102020214041A1 (de) Verfahren und Vorrichtung zur Ansteuerung von Emitterelementen eines LIDAR-Messsystems sowie LIDAR-Messsystem
WO2021073824A1 (de) Multipuls-lidarsystem und verfahren zur erfassung eines objekts in einem beobachtungsbereich

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase