WO2012076274A1 - Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems - Google Patents

Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems Download PDF

Info

Publication number
WO2012076274A1
WO2012076274A1 PCT/EP2011/069617 EP2011069617W WO2012076274A1 WO 2012076274 A1 WO2012076274 A1 WO 2012076274A1 EP 2011069617 W EP2011069617 W EP 2011069617W WO 2012076274 A1 WO2012076274 A1 WO 2012076274A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
image information
image
sensors
offset
Prior art date
Application number
PCT/EP2011/069617
Other languages
English (en)
French (fr)
Inventor
Steffen Abraham
Wolfgang Niehsen
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201180058509.6A priority Critical patent/CN103444191B/zh
Priority to EP11784451.4A priority patent/EP2649802A1/de
Priority to US13/992,500 priority patent/US9414044B2/en
Priority to JP2013542435A priority patent/JP2014503408A/ja
Publication of WO2012076274A1 publication Critical patent/WO2012076274A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a method and an apparatus for processing image information of two sensors suitable for image acquisition of a stereo sensor system that can be used in a vehicle.
  • Stereo video image processing is becoming more and more important for environment detection in driver assistance systems, for robotics and other applications in automation technology.
  • the spatial position of objects in the detection range of a stereo video system can be determined so as to be suitable for e.g. to detect pedestrians in driver assistance systems.
  • the stereo measurement from digital images is described in textbooks for image processing (e.g., Trucco and Verri, Introductory Techniques for 3-D Computer Vision, Springer Verlag, 1998).
  • the basis for the stereo measurement is the search for corresponding image sections between left and right sensor. Taking into account the optical imaging and the geometric arrangement of the sensors, a 3 D reconstruction of the image sections can take place.
  • WO 02/095681 A1 describes a method in which a source image distorted by a camera optics is converted into an equalized target image with the aid of a tabular mapping rule. Each source pixel of the source image is assigned no, one or more target pixels in the target image.
  • the present invention provides a method for processing image information of two sensors of a stereo sensor system suitable for image acquisition, furthermore a device which uses this method and finally a corresponding computer program product according to the independent patent claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • Images captured by two sensors of a stereo sensor system typically have a geometric offset, that is, an image of a real object detected by the sensors is located at a different geometric position in the images.
  • information about the offset is used in order, on the one hand, to optimize the acquisition of image information by the sensors and, on the other hand, to read out the image information from the sensors.
  • different sections of the sensors can be read out at the same time knowing the offset.
  • a size of a buffer store in which the read-out data is buffered for further processing can be reduced.
  • further processing can be accelerated.
  • the approach according to the invention can advantageously be used with a hardware-based method for 3D stereo measurement with a stereo video system.
  • a method for optimized readout of a video sensor of the stereo video system can be realized.
  • a reading for example, a right and a left image sensor, depending on calibration information.
  • the image sensors depending on the determined in a calibration line offset with a temporal
  • Line offset can be read out.
  • different sections of the sensor so-called regions of interest (ROI's) can be read in the image sensors, depending on the existing in a calibration line offset in the left and right camera.
  • ROI's regions of interest
  • the present invention provides a method for processing image information of two sensors suitable for image acquisition of a stereo sensor
  • each of the sensors is configured to detect the image information in sections in arranged at different positions sensor portions of the sensor, the method comprising the following steps:
  • the stereo sensor system may be a stereo video system with two video sensors. By means of the stereo video system, the spatial position of objects in the detection range of the sensors can be determined.
  • the stereo sensor system may provide information for a driver assistance system of a vehicle.
  • the sensors can capture image information, which images a real environment detected by the sensors, in sections, for example line by line. Each image information may contain one or more include higher brightness values.
  • the sensor sections may be lines and the position of a sensor section may be a line number.
  • the sensors can be identical, and in particular have the same type, number and arrangement of sensor sections.
  • two sensor sections of the two sensors can correspond with regard to their position within the sensors.
  • Each sensor section may have a plurality of pixels.
  • Each pixel may include image information that maps a particular region of the environment sensed by the sensor.
  • the individual sensor sections can capture the image information at the same time or in chronological succession.
  • corresponding image information can be taken to mean image information which images an identical or approximately identical region of the environment detected by the sensors.
  • the information about the offset may represent information that has been determined in a calibration process.
  • the information can be stored in a memory and read out of it.
  • the offset may define a difference between the positions of two sensor sections having pixels with corresponding image information. Starting from a position of a sensor section of the first sensor, a position of a sensor section of the second sensor with an image information corresponding to the sensor section of the first sensor can be determined by means of the offset. If the sensor sections are arranged line by line, the offset can specify a number of lines.
  • the image information of the first sensor and the second sensor can be read out directly from the sensor or from a temporary storage. The image information of the first sensor and the second sensor can be read out within a common read-out step.
  • the image information of the second sensor can be read out in time directly before, at the same time, or in time directly after the image information of the first sensor has been read out.
  • image information from different positions of the two sensors are read out in a read-out step.
  • the read-out image information can be further processed directly or stored in a buffer for further processing. For example, based on the read and be performed with respect to their image content corresponding image information stereo measurement.
  • the method may include a step of determining the offset.
  • the offset may be based on a comparison between image information from sensor sections of the first sensor and image information from sensor sections of the second sensor. By comparing sensor sections can be determined with corresponding image contents and the directional distance of such sensor sections can be stored as an offset.
  • the offset can be determined once, continuously or, for example, every time the stereo video system is put into operation.
  • the image information of the first sensor can be read out only from a first sensor section and the image information of the second sensor only from a second sensor section, wherein an arrangement of the first sensor section within the first sensor with respect to an arrangement of the second sensor section within the second sensor different.
  • the first sensor portion and the second sensor portion may be the same size.
  • the first sensor section and the second sensor section have corresponding image contents.
  • the read sensor sections can be processed directly in a subsequent step, without a rectification is necessary.
  • the method may include a step of determining a shift between a first pixel within the first sensor section and a second pixel within the second sensor section, wherein the first pixel and the second pixel correspond to each other with respect to a captured image information.
  • the first region of the first sensor section can be shifted by the value of the displacement relative to the second region of the second sensor section. This way you can
  • the method may include a step of providing a first trigger signal configured to detect the image information of the first sensor to trigger by a arranged at a first position of the first sensor sensor section.
  • the method may further comprise a step of providing a second triggering signal, temporally after or temporally prior to the step of providing the first triggering signal, wherein the second triggering signal is configured to detect the image information of the second sensor by one at the first position to trigger the sensor section arranged in the second sensor.
  • the method may include a step of providing a trigger signal configured to simultaneously acquire the image information of the first sensor by a sensor portion located at a first position of the first sensor and the image information of the second sensor by one at a second position trigger the second sensor arranged sensor portion, wherein between the first position and the second position, the offset exists.
  • a trigger signal configured to simultaneously acquire the image information of the first sensor by a sensor portion located at a first position of the first sensor and the image information of the second sensor by one at a second position trigger the second sensor arranged sensor portion, wherein between the first position and the second position, the offset exists.
  • the image information of the first sensor can be read out of a line of the first sensor and the image information of the second sensor can be read out of a line of the second sensor.
  • the offset can here determine a difference between a line number of the line of the second sensor and the line of the first sensor.
  • the method may include at least one further step of reading out further image information of the first sensor and further image information of the second sensor.
  • the readout takes place with respect to the further positions of the further sensor sections, from which the further image information is read, with the offset.
  • staggered image information can be continuously read out of the two sensors. the.
  • image information can be read out from a sensor section per sensor in each step of the read-out, which is directly adjacent to a sensor section from which it was read in the preceding read-out step.
  • the present invention furthermore provides an apparatus for processing image information of two sensors of a stereo sensor system suitable for image acquisition, wherein each of the sensors is designed to detect the image information in sections in sensor sections of the sensor arranged at different positions, with the following features a provisioning means for providing information about a geometric offset between positions of two sensor sections of the first and second sensors that have corresponding image information; and a read-out device for reading out image information of the first sensor and image information of the second sensor, the read-out taking place with respect to the positions of the sensor sections from which the image information is read out with the offset.
  • the device may be part of the stereo sensor system or part of a downstream processing unit.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software. In a hardware training, the interfaces may for example be part of a so-called system ASICs, the various functions of the
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is on a computer corresponding to a computer is also of advantage Device is running.
  • FIG. 2 shows a basic structure of a hardware for stereo measurement
  • FIG. 3 shows an illustration of a time-synchronous readout of two image sensors
  • FIG. 6 shows a representation of a time-synchronized image acquisition by two image sensors
  • FIG. 8 is a flowchart of a method of processing image information.
  • Fig. 1 shows a principle of stereo measurement with image rectification. Shown are an original sensor image 101 of a left sensor and an original sensor image 103 a right sensor of a stereo imaging system.
  • the sensor image 101 can be a video image on the left and the sensor image 103 can be a video image on the right.
  • an object in the form of a vehicle can be recognized in the sensor images 101, 103.
  • the vehicle is located in the sensor images 101, 103 at different positions.
  • there is a line offset 107 between corresponding areas of the object for example the upper right corner areas 105 of the vehicle.
  • An image rectification 110 generates a rectified image 11 1 from the sensor image 101 and a further rectified image 13 from the further sensor image 103.
  • the upper right corner portions 105 of the vehicle are in the same line, so that the stereo correspondence 109 is given within the same picture line.
  • the image sensor 201 may be an image sensor on the left and the image sensor 203 may be an image sensor on the right. Image information of the image sensor 201 is sent via a serial
  • Line 221 of the left sensor is provided to an input buffer on the left 222, then provided on the left to rectify logic 223 and then to a line buffer 224 for the rectified image on the left.
  • the rectification changes a position of the vehicle.
  • Image information of the image sensor 203 is sent via a serial line 231 of the right sensor to a
  • Input buffer on the right 232 then provided to a right rectification logic 233 and then to a rectified image line buffer 234 on the right.
  • the rectification changes a position of the vehicle.
  • Data from the line buffers 224, 234 are provided to disambiguation measurement logic 240 configured to generate 3-D coordinates 242.
  • a hardware-assisted real-time stereo measurement is usually a rectification, ie equalization, the original sensor images 101, 103 in rectified images 1 1 1, 1 13.
  • a correspondence search of Characteristics between left and right picture take place along a picture line.
  • Fig. 1 shows the process schematically.
  • a stereo hardware such as an FPGA
  • Fig. 2 shows the schematic structure of a corresponding hardware.
  • serial data line 221, 231 into which the camera image data, ie the brightness values, from the sensor 201, 203 to the evaluation hardware, e.g. with LVDS (Low Voltage Differential Signaling).
  • evaluation hardware there is an input buffer 222, 232 in which a limited number of lines of input images are buffered.
  • a rectification logic 223, 233 individually reads the image information from the input buffer 222, 232 and generates the rectified image information.
  • next data buffer 224, 234 line by line. Between the lines of the intermediate buffer 224, 234 with the rectified image data of the left and right camera image, the stereo measurement and ultimately the 3 D reconstruction takes place.
  • a calibration of the stereo camera system i. the determination of the geometric position of the cameras to each other and the optical distortion necessary for a meaningful stereo measurement.
  • the image rectification then compensates for the position and aberrations using the calibration information during the evaluation.
  • the images of the left and right cameras are usually recorded synchronously in time, in order to allow an accurate stereo measurement of dynamically moving objects. Also associated with this is a time-synchronous serial transport of the image lines from the left and right sensors to the stereo measurement processing hardware.
  • CMOS sensors with a rolling shutter mode are used for image acquisition, image acquisition takes place for each line at a different time. This is shown schematically with reference to FIGS. 6 and 7. If the line offset is large due to mechanically unfavorable mounting of the cameras, the corresponding features required for the stereo measurement are recorded at different times. In particular, for the stereo measurement from the vehicle at high speeds, this leads to a correspondence measurement between left and right image line failing due to the fast movement of image features in the image.
  • the inventive approach enables the reduction of the time offset of the measurement of corresponding image features when using rolling shutter sensors for stereo measurement and thus a reduction of the error of the 3 D stereo measurement.
  • the method for stereo measurement of point features and their correspondence point assignment is shown schematically in Fig. 1.
  • Sketched is the procedure for a stereo image pair.
  • the upper stereo image pair 201, 203 shows the original image pair after being captured by the camera. Due to mechanical inaccuracies in the mounting of the camera and by optical distortion, the illustrated corresponding corners 105 of the imaged vehicle rear are offset by a plurality of lines.
  • the line offset 107 is indicated schematically in the graph.
  • the corresponding image features 105 in the left and right rectified image 1 1 1, 1 13 are each in one image line.
  • the correspondence search is now possible in one line, which greatly facilitates a real-time realization in a computing hardware.
  • FIG. 2 The construction of a hardware for the stereo measurement is shown in FIG. 2. From the two image sensors 201, 203, the image contents are sequentially read into the respective input buffers 222, 232 of the hardware.
  • An input buffer 222, 232 consists of memory for several picture lines and thus contains a section of the input picture.
  • a logic 223, 233 for rectifying the images fills the rectification buffers 224, 234 sequentially, again line by line.
  • a next logic 240 performs a line-by-line stereo measurement between the left and right rectification buffers 224, 234 and generates displacement measurements. From this, the SD coordinates 242 of the image features can be derived.
  • a line offset of the unadjusted stereo camera systems is unavoidable.
  • the line offset requires a necessary enlargement of the input buffers 222, 232 in the hardware by the corresponding line offset.
  • the size of the input buffer 222, 232 can be reduced by reading out the image sensors 201, 203 in a staggered manner. The control of the time offset takes place in dependence on the calibration information.
  • Figures 3 and 4 show the flow of reading on the camera lines shown in Fig. 2 221, 231 schematically.
  • FIG. 3 shows a signal course during readout of the image sensor on the serial data lines in the case of a line-synchronous readout of left and right image sensors.
  • the upper course is assigned to the left sensor and the lower course to the right sensor.
  • image information of a line 1 351, a line 2 352, a line 3 353, etc. of the left and the right sensor is simultaneously read out at the same time and transmitted via the serial data lines.
  • Each of the lines 341, 352, 253 has a plurality of brightness values 356, of which only two are shown at the beginning of the line 351 for the sake of clarity. Shown is the general procedure for reading data in a stereo evaluation hardware shown schematically. The two sensors are read out isochronously serially. The same lines from left and right sensor are synchronously transmitted on the lines in time.
  • FIG. 4 shows, corresponding to FIG. 3, a signal course during readout of the image sensor on the serial data lines in the case of a time-shifted readout of the image sensors as a function of caliber information, according to an exemplary embodiment of the present invention.
  • the upper course is assigned to the left sensor and the lower course to the right sensor.
  • a line 1 351, a line 2 352, a line 3 353, etc. are read out with respect to the left sensor.
  • a line j 451, a line j + 1 452, a line j + 2 453, etc. are read out.
  • lines 351, 451 are read out in a further read-out step
  • lines 352, 452 and in a further read-out step lines 353, 453 are read out.
  • Fig. 5 shows a readout of regions 501, 503 from a left image sensor
  • the regions 501, 503 are the same size and cover different sensor areas of the sensors 201, 203. In this case, the regions 501, 503 are shifted relative to one another with respect to the rows of the sensors 201, 203. Based on the region 501 of the left sensor 201, the region 503 of the right sensor 204 is shifted upward by the distance 507. The distance 507 indicates a number of lines. In addition, the regions 501, 503 may also be shifted relative to each other with respect to the columns of the sensors 201, 203. Within the regions 501, 503, corresponding image contents 105 are identical to see or nearly identical positions within the regions 501, 503 arranged.
  • CMOS sensors allow the selective readout of regions 501, 503 of the image sensor 201, 203. For the stereo measurement, this makes it possible, depending on the calibration data, to individually select the regions in the left and right sensors 201, 203 in such a way that between the Regions 501, 503 in the left and right image no or only a small line offset occurs. This also allows for a reduction in the size of the input buffer in the stereo hardware.
  • a corresponding procedure is shown schematically in FIG.
  • FIGS. 6 and 7 show this schematically.
  • FIG. 6 shows a chronological sequence of the image recording with a rolling shutter sensor in a schematic representation, with a chronologically synchronized recording with left and right image sensor
  • the corner region 105 is in turn arranged offset by a number of lines 107. Furthermore, recording times t0, t1 and a time difference dt are shown.
  • FIG. 6 a time sequence of the image recording with a rolling shutter sensor in a schematic representation, with a staggered shutter mode, according to an exemplary embodiment of the present invention. Shown is the image sensor on the left 201 and the image sensor on the right 203, of which in turn the vehicle is detected with the corner region 105.
  • the time offset is to be selected as a function of the calibration information, as shown in FIG. 7.
  • the start of the image pickup of the left sensor 201 is delayed by the time dt.
  • the delay dt is again calculated from calibration information and can be set individually for each stereo system.
  • FIG. 8 shows a schematic illustration of a method for processing image information of two sensors 201, 203 of a stereo sensor system suitable for image acquisition.
  • the sensors 201, 203 are designed to detect image information in sections in sensor sections arranged at different positions. As sensor sections, seven lines are shown by way of example here. To an image offset 107 between shots of the
  • the reading is controlled by a read-out device 861.
  • the read-out device 861 is designed to receive information about the image offset 107 and, based thereon in a read-out step, to read out a sensor section of the sensor 201 and a sensor section of the sensor 203. It is shown by way of example that the read-out device 861 reads out image information from the second line of the sensor 201 and image information from the sixth line of the sensor 203 in a read-out step.
  • the second line of the sensor 201 and the sixth line of the sensor 203 each have the corresponding image content 105.
  • sensor sections are read out with an offset of four lines.
  • image information from the subsequent third line of the sensor 201 and image information from the following seventh line of the sensor 203 are read out accordingly.
  • the read-out image information can be output to a processing device 865 and further processed or evaluated by it.
  • the image information can be captured and buffered by the sensor sections.
  • the read-out means 861 may be configured to read out the image information from a buffer.
  • the readout device 861 may be configured to trigger detection of the image information by a corresponding sensor section.
  • the readout device 861 may read the image information directly from the sensor sections.
  • the read-out device 861 is designed to receive, in addition to the offset 807, further information about an offset within the individual sensor sections, in this case in the horizontal direction, and to read out only corresponding partial areas in response thereto. For example, if there is an offset of one quarter of a line length, for example, in the read step shown, the left half of the second line of the left sensor 201 and the middle two quarters of the sixth line of the right sensor 203 could be read out.
  • the inventive approaches of time-shifted readout of the image sensors or the selection of regions as a function of the calibration information can be used, for example, in connection with assistance systems in the motor vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren (201, 203) eines Stereo-Sensor-Systems, wobei jeder der Sensoren (201, 203) ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors (201, 203) zu erfassen. Das Verfahren umfasst einen Schritt des Bereitstellens einer Information (807) über einen geometrischen Versatz (107) zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors (201, 203), die korrespondierende Bildinformationen (105) aufweisen, sowie einen Schritt des Auslesens (861) einer Bildinformation des ersten Sensors (201) und einer Bildinformation des zweiten Sensors (203), wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgelesen werden mit dem Versatz (107) erfolgt.

Description

Beschreibung Titel
Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems, das bei einem Fahrzeug eingesetzt werden kann.
Die Stereo-Videobildverarbeitung gewinnt für die Umfelderfassung in Fahrassistenzsystemen, für die Robotik und weitere Anwendungen aus der Automatisierungstechnik einen immer größeren Stellenwert. Mit einem Stereo-Videosystem kann die räumliche Lage von Objekten im Erfassungsbereich eines Stereo- Videosystems bestimmt werden, um damit z.B. in Fahrerassistenzsystemen Fußgänger zu detektieren.
Die Stereomessung aus digitalen Bildern ist in Lehrbüchern zur Bildverarbeitung beschrieben (z.B. Trucco and Verri, Introductory techniques for 3-D Computer Vision, Springer Verlag, 1998). Die Grundlage für die Stereomessung bildet die Suche nach korrespondierenden Bildabschnitten zwischen linkem und rechtem Sensor. Unter Berücksichtigung der optischen Abbildung und der geometrischen Anordnung der Sensoren kann eine 3 D-Rekonstruktion der Bildabschnitte erfolgen.
Um die Suche nach korrespondierenden Bildabschnitten zu erleichtern, erfolgt häufig eine Biidrektifizierung. Diese erlaubt eine Suche nach korrespondierenden Bildabschnitten entlang der Bildzeilen. Die WO 02/095681 A1 beschreibt ein Verfahren, bei dem ein durch eine Kameraoptik verzerrtes Sourcebild mit Hilfe einer tabellarischen Abbildungsvorschrift in ein entzerrtes Targetbild überführt wird. Dabei wird jedem Sourcepixel des Sour- cebildes kein, ein oder mehrere Targetpixel im Targetbild zugewiesen.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Von zwei Sensoren eines Stereo-Sensor-Systems aufgenommene Aufnahmen weisen typischer Weise eine geometrischen Versatz auf, das heißt, dass sich ein Abbild eines von den Sensoren erfassten realen Objekts an einer unterschiedlichen geometrischen Position in den Aufnahmen wiederfindet. Erfindungsgemäß wird eine Information über den Versatz eingesetzt, um zum einen eine Erfassung von Bildinformationen durch die Sensoren und zum anderen ein Auslesen der Bildinformationen aus den Sensoren zu optimieren. In Bezug auf das Auslesen können unter Kenntnis des Versatzes unterschiedliche Abschnitte der Sensoren zeitgleich ausgelesen werden. Im Vergleich zu bekannten Verfahren, bei denen zeitgleich gleiche Abschnitte der Sensoren ausgelesen werden, kann eine Größe eines Zwischenspeichers, in dem die ausgelesenen Daten zur Weiterverarbeitung zwischengespeichert werden verkleinert werden. Zudem kann die Weiterverarbeitung beschleunigt werden. In Bezug auf die Erfassung der Bildinformationen können unter Kenntnis des Versatzes unterschiedliche Abschnitte der Sen- soren zeitgleich zur Erfassung von Bildinformationen angesteuert werden. Hierbei ergibt sich der Vorteil, dass von den Sensoren zeitgleich Bildinformationen bereitgestellt werden, die keinen oder zumindest einen verringerten Versatz aufweisen.
Der erfindungsgemäße Ansatz kann vorteilhaft bei hardwarebasierten Verfahr für die 3D-Stereomessung mit einem Stereo-Videosystem eingesetzt werden. Insbesondere kann ein Verfahren zum optimierten Auslesen eines Video- Sensors des Stereo-Videosystems realisiert werden. Dabei erfolgt ein Auslesen, beispielsweise eines rechten und eines linken Bildsensors, in Abhängigkeit von Kalibrierinformationen. Beispielsweise können die Bildsensoren in Abhängigkeit von dem in einem Kalibriervorgang ermitteltem Zeilenversatz mit einem zeitlichen
Zeilenversatz ausgelesen werden. Auch können in den Bildsensoren, abhängig von dem in einem Kalibriervorgang vorliegenden Zeilenversatz in der linken- und rechten Kamera, unterschiedliche Abschnitte des Sensors, sogenannte Regions of Interest (ROI's) ausgelesen werden. Die sich daraus ergebenden Vorteile sind eine Reduktion der notwendigen Größe des Eingangspuffers in einer Stereo-
Messhardware und eine Reduzierung der 3 D-Messfehler bei dem Einsatz von Rolling-Shutter-Sensoren für die Stereomessung.
Die vorliegende Erfindung schafft ein Verfahren zum Verarbeiten von Bildinfor- mationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-
Systems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors zu erfassen, wobei das Verfahren die folgenden Schritte um- fasst:
Bereitstellen einer Information über einen Versatz zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors, die korrespondierende Bildinformationen aufweisen; und Auslesen einer Bildinformation des ersten Sensors und einer Bildinformation des zweiten Sensors, wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgelesen werden mit dem Versatz erfolgt. Bei dem Stereo-Sensor-System kann es sich um ein Stereo-Videosystem mit zwei Videosensoren handeln. Mittels des Stereo-Videosystem kann die räumliche Lage von Objekten im Erfassungsbereich der Sensoren bestimmt werden. Das Stereo-Sensor-System kann beispielsweise Informationen für ein Fahrassistenzsystem eines Fahrzeugs bereitstellen. Die Sensoren können Bildinformatio- nen, die ein von den Sensoren erfasstes reales Umfeld abbilden, abschnittsweise erfassen, beispielsweise zeilenweise. Jede Bildinformation kann einen oder meh- rere Helligkeitswerte umfassen. Somit kann es sich bei den Sensorabschnitten um Zeilen und bei der Position eines Sensorabschnitts um eine Zeilennummer handeln. Die Sensoren können identisch sein, und insbesondere die gleiche Art, Anzahl und Anordnung von Sensorabschnitten aufweisen. So können sich je- weils zwei Sensorabschnitte der beiden Sensoren bezüglich ihrer Position innerhalb der Sensoren entsprechen. Jeder Sensorabschnitt kann eine Mehrzahl von Bildpunkten aufweisen. Jeder Bildpunkt kann eine Bildinformation umfassen, die einen bestimmten Bereich des von dem Sensor erfassten Umfelds abbildet. Die einzelnen Sensorabschnitte können die Bildinformationen zeitgleich oder zeitlich aufeinanderfolgend erfassen. In Bezug auf den Versatz können unter korrespondierenden Bildinformationen solche Bildinformationen verstanden werden, die einen identischen oder näherungsweise identischen Bereich des von den Sensoren erfassten Umfelds abbilden. Somit entsprechen sich korrespondierenden Bildinformationen in Bezug auf ihren Bildinhalt. Die Information über den Versatz kann eine Information repräsentieren, die in einem Kalibriervorgang ermittelt wurde. Die Information kann in einem Speicher hinterlegt und aus diesem ausgelesen werden. Der Versatz kann einen Unterschied zwischen den Positionen zweier Sensorabschnitte definieren, die Bildpunkte mit korrespondierenden Bildinformationen aufweisen. Ausgehend von einer Position eines Sensorabschnitts des ersten Sensors kann mittels des Versatzes eine Position eines Sensorabschnitts des zweiten Sensors mit einer zu dem Sensorabschnitt des ersten Sensors korrespondierenden Bildinformation bestimmt werden. Sind die Sensorabschnitte zeilenweise angeordnet, so kann der Versatz eine Anzahl von Zeilen angeben. Die Bildinformationen des ersten Sensors und des zweiten Sensors kön- nen direkt aus dem Sensor oder aus einem Zwischenspeicher ausgelesen werden. Die Bildinformationen des ersten Sensors und des zweiten Sensors können innerhalb eines gemeinsamen Ausleseschrittes ausgelesen werden. Beispielsweise kann zeitlich direkt vor, zeitgleich, oder zeitlich direkt nach dem Auslesen der Bildinformationen des ersten Sensors die Bildinformation des zweiten Sen- sors ausgelesen werden. Somit werden in einem Ausleseschritt Bildinformationen aus unterschiedlichen Positionen der beiden Sensoren ausgelesen. Somit findet bereits durch das Auslesen eine Zuordnung zwischen korrespondierenden Bildinformationen statt. Die ausgelesenen Bildinformationen können direkt weiterverarbeitet werden oder zur Weiterverarbeitung in einem Zwischenspeicher gespeichert werden. Beispielsweise kann basierend auf den ausgelesenen und bezüglich ihrer Bildinhalte korrespondierenden Bildinformationen eine Stereomessung durchgeführt werden.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Bestim- mens des Versatzes umfassen. Der Versatz kann basierend auf einem Vergleich zwischen Bildinformationen aus Sensorabschnitten des ersten Sensors und Bildinformationen aus Sensorabschnitten des zweiten Sensors erfolgen. Durch den Vergleich können Sensorabschnitte mit korrespondierenden Bildinhalten ermittelt werden und der gerichtete Abstand solcher Sensorabschnitte kann als Versatz gespeichert werden. Der Versatz kann einmalig, fortlaufend oder beispielsweise bei jeder Inbetriebnahme des Stereo-Videosystem bestimmt werden.
Im Schritt des Auslesens kann die Bildinformation des ersten Sensors nur aus einem ersten Sensorabschnitt und die Bildinformation des zweiten Sensors nur aus einem zweiten Sensorabschnitt ausgelesen werden, wobei sich eine Anordnung des ersten Sensorabschnittes innerhalb des ersten Sensors in Bezug auf eine Anordnung des zweiten Sensorabschnittes innerhalb des zweiten Sensors unterscheidet. Der erste Sensorabschnitt und der zweite Sensorabschnitt können die gleiche Größe aufweisen. Vorteilhafterweise weisen der erste Sensorab- schnitt und der zweite Sensorabschnitt korrespondierende Bildinhalte auf. Im
Idealfall können die ausgelesenen Sensorabschnitte in einem anschließenden Schritt direkt verarbeitet werden, ohne dass eine Rektifizierung notwendig ist.
Dabei kann das Verfahren einen Schritt des Bestimmens einer Verschiebung zwischen einem ersten Bildpunkt innerhalb des ersten Sensorabschnitts und einem zweiten Bildpunkt innerhalb des zweiten Sensorabschnitts umfassen, wobei der erste Bildpunkt und der zweite Bildpunkt in Bezug auf eine erfasste Bildinformation miteinander korrespondieren. Dabei kann der erste Bereich des ersten Sensorabschnitts um den Wert der Verschiebung gegenüber dem zweiten Be- reich des zweiten Sensorabschnitts verschoben sein. Auf diese Weise kann ein
Versatz zwischen in Bezug auf ihre Bildformationen korrespondierenden Bereichen innerhalb korrespondierender Sensorabschnitte der beiden Sensoren bestimmt werden. Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Bereitstellens eines ersten Auslösesignals umfassen, das ausgebildet ist, um ein Erfassen der Bildinformation des ersten Sensors durch einen an einer ersten Position des ersten Sensors angeordneten Sensorabschnitt auszulösen. Das Verfahren kann ferner einen Schritt des Bereitstellens eines zweiten Auslösesignals, zeitlich nach oder zeitlich vor dem Schritt des Bereitstellens des ersten Auslösesignals, um- fassen, wobei das zweite Auslösesignal ausgebildet ist, um ein Erfassen der Bildinformation des zweiten Sensors durch einen an der ersten Position des zweiten Sensors angeordneten Sensorabschnitt auszulösen. Somit können korrespondierende Bildinformationen, die im anschießenden Schritt des Auslesens zusammen ausgelesen werden, zu unterschiedlichen Zeitpunkten erfasst worden sein. In diesem Fall kann eine Zwischenspeicherung erfasster Bildinformationen erforderlich sein.
Alternativ kann das Verfahren einen Schritt des Bereitstellens eines Auslösesignals umfassen, das ausgebildet ist, um ein zeitgleiches Erfassen der Bildinforma- tion des ersten Sensors durch einen an einer ersten Position des ersten Sensors angeordneten Sensorabschnitt und der Bildinformationen des zweiten Sensors durch einen an einer zweiten Position des zweiten Sensors angeordneten Sensorabschnitt auszulösen, wobei zwischen der ersten Position und der zweiten Position der Versatz besteht. Somit können korrespondierende Bildinformatio- nen, die im anschießenden Schritt des Auslesens zusammen ausgelesen werden, zeitgleich erfasst werden. In diesem Fall ist keine Zwischenspeicherung erfasster Bildinformationen erforderlich.
Gemäß einer Ausführungsform, bei der die Sensorabschnitte zeilenweise angeordnet sind, kann im Schritt des Auslesens die Bildinformation des ersten Sensors aus einer Zeile des ersten Sensors und die Bildinformation des zweiten Sensors aus einer Zeile des zweiten Sensors ausgelesen werden. Der Versatz kann hier eine Differenz zwischen einer Zeilennummer der Zeile des zweiten Sensors und der Zeile des ersten Sensors bestimmen.
Das Verfahren kann mindestens einen weiteren Schritt des Auslesens einer weiteren Bildinformation des ersten Sensors und einer weiteren Bildinformation des zweiten Sensors umfassen. Dabei erfolgt das Auslesen in Bezug auf die weiteren Positionen der weiteren Sensorabschnitte, aus denen die weiteren Bildinformationen ausgelesen werden, mit dem Versatz. Somit können jeweils versetzt angeordnete Bildinformationen fortlaufend aus den beiden Sensoren ausgelesen wer- den. Beispielsweise können in jedem Schritt des Auslesens pro Sensor Bildinformationen aus einem Sensorabschnitt ausgelesen werden, der direkt an einen Sensorabschnitt angrenzt, aus dem in dem vorangegangenen Ausleseschritt ausgelesen wurde.
Die vorliegende Erfindung schafft ferner eine Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo- Sensor-Systems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensor- abschnitten des Sensors zu erfassen, mit folgenden Merkmalen: einer Bereitstellungseinrichtung zum Bereitstellen einer Information über einen geometrischen Versatz zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors, die korrespondierende Bildinformationen aufweisen; und einer Ausleseeinrichtung zum Auslesen einer Bildinformation des ersten Sensors und einer Bildinformation des zweiten Sensors, wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgele- sen werden mit dem Versatz erfolgt.
Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Die Vorrichtung kann Teil des Stereo-Sensor-Systems oder Teil einer nachgeschalteten Verarbeitungseinheit sein. Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der
Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 ein Prinzip der Stereo-Messung mit Bildrektifizierung;
Fig. 2 einen Prinzipaufbau einer Hardware zur Stereomessung;
Fig. 3 eine Darstellung eines zeitsynchronen Auslesens zweier Bildsensoren;
Fig. 4 eine Darstellung eines zeitversetzten Auslesens zweier Bildsensoren;
Fig. 5 eine Darstellung eines Auslesens von Regionen zweier Bildsensoren;
Fig. 6 eine Darstellung einer zeitsynchronen Bilderfassung durch zwei Bildsensoren;
Fig. 7 eine Darstellung einer zeitlich versetzten Bilderfassung durch zwei Bildsensoren; und
Fig. 8 ein Ablaufdiagramm eines Verfahrens zum Verarbeiten von Bildinformationen.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt ein Prinzip der Stereo-Messung mit Bildrektifizierung. Gezeigt sind ein original Sensorbild 101 eines linken Sensors und ein original Sensorbild 103 eines rechten Sensors eines Stereo-Bilderfassungssystems. Bei dem Sensorbild 101 kann es sich um ein Videobild links und bei dem Sensorbild 103 um ein Videobild rechts handeln. In den Sensorbildern 101 , 103 ist jeweils ein Objekt in Form eines Fahrzeugs zu erkennen. Das Fahrzeug befindet sich in den Sensor- bildern 101 , 103 an unterschiedlichen Positionen. So besteht zwischen korrespondierenden Bereichen des Objekts, beispielsweise den rechten oberen Eckbereichen 105 des Fahrzeugs, ein Zeilenversatz 107. Somit ist in den Sensorbildern 101 , 103 keine Stereo-Korrespondenz 109 innerhalb der gleichen Bildzeile gegeben.
Durch eine Bildrektifizierung 1 10 wird aus dem Sensorbild 101 ein rektifiziertes Bild 1 1 1 und aus dem weiteren Sensorbild 103 ein weiteres rektifiziertes Bild 1 13 generiert. In den Bildern 1 1 1 , 1 13 befinden sich die rechten oberen Eckbereiche 105 des Fahrzeugs in der gleichen Zeile, so dass die Stereo-Korrespondenz 109 innerhalb der gleichen Bildzeile gegeben ist.
Fig. 2 zeigt einen Prinzipaufbau einer Hardware zur Stereomessung. Gezeigt sind zwei Bildsensoren 201 , 203. Bei dem Bildsensor 201 kann es sich um einen Bildsensor links und bei dem Bildsensor 203 kann es sich um einen Bildsensor rechts handeln. Bildinformationen des Bildsensors 201 werden über eine serielle
Leitung 221 des linken Sensors an einen Eingangspuffer links 222 bereitgestellt, anschließend an eine Logik 223 zur Rektifizierung links und anschließend an einen Zeilenpuffer 224 für das rektifizierte Bild links bereitgestellt. Durch die Rektifizierung wird eine Position des Fahrzeugs verändert. Bildinformationen des Bild- sensors 203 werden über eine serielle Leitung 231 des rechten Sensors an einen
Eingangspuffer rechts 232, anschließend an eine Logik 233 zur Rektifizierung rechts und anschließend an einen Zeilenpuffer 234 für das rektifizierte Bild rechts bereitgestellt. Durch die Rektifizierung wird eine Position des Fahrzeugs verändert. Daten aus den Zeilenpuffern 224, 234 werden an eine Logik 240 zur Dispa- ritätsmessung bereitgestellt, die ausgebildet ist, um 3-D Koordinaten 242 zu erzeugen.
Bei einer hardwareunterstützten Echtzeit-Stereomessung erfolgt in der Regel eine Rektifizierung, also Entzerrung, der Orignal-Sensorbilder 101 , 103 in rektifi- zierte Bilder 1 1 1 , 1 13. In den rektifizierten Bildern 1 1 1 , 1 13 kann anschließend eine Korrespondenzsuche von Merkmalen zwischen linkem und rechtem Bild entlang einer Bildzeile erfolgen. Dies ist für eine Umsetzung in Hardware, beispielsweise in einem FPGA oder ASIC, vorteilhaft. Fig. 1 zeigt den Ablauf schematisch.
Die Verarbeitung der Videobilddaten in einer Stereo-Hardware, beispielsweise einem FPGA, wird zeilenweise sequentiell organisiert. Die Fig. 2 zeigt den schematischen Aufbau einer entsprechenden Hardware.
Es gibt für jeden Sensor 201 , 203 eine serielle Datenleitung 221 , 231 , in den die Kamerabilddaten, also die Helligkeitswerte, vom Sensor 201 , 203 zur Auswertehardware, z.B. mit LVDS (Low Voltage Differential Signaling), übertragen werden. In der Auswertehardware gibt es einen Eingangspuffer 222, 232, in dem eine begrenzte Anzahl Zeilen der Eingangsbilder zwischengespeichert werden. Eine Rektifizierungslogik 223, 233 liest aus dem Eingangspuffer 222, 232 die Bild- Informationen individuell aus und generierte die rektifizierten Bildinformationen.
Diese werden in einem nächsten Daten puffer 224, 234 zeilenweise abgelegt. Zwischen den Zeilen des Zwischen puffers 224, 234 mit den rektifizierten Bilddaten des linken und rechten Kamerabildes findet die Stereo-Messung und letztlich die 3 D-Rekonstruktion statt.
Der mechanische Aufbau eines Stereokamerasystems erfolgt praktisch mit begrenzter Genauigkeit der Ausrichtung der Kameras zueinander. Unter anderem aus diesem Grund ist daher vorab eine Kalibrierung des Stereokamerasystems, d.h. die Bestimmung der geometrischen Lage der Kameras zueinander und der optischen Verzeichnung, für eine sinnvolle Stereomessung notwendig. Die Bild- rektifizierung kompensiert dann unter Verwendung der Kalibrierinformationen während der Auswertung die Lage und Abbildungsfehler.
In den derzeit üblichen Stereosystemen werden in der Regel die Bilder der linken und rechten Kamera zeitlich synchron aufgenommen, um eine genaue Stereomessung dynamisch bewegter Objekte zu ermöglichen. Weiterhin damit verbunden ist ein zeitlich synchroner serieller Transport der Bildzeilen vom linken und rechten Sensor in die Verarbeitungshardware zur Stereomessung.
Für eine sequentielle Verarbeitung laut Fig. 2 bedeutet dies, dass es bei geometrischen Lageabweichungen zwischen linker und rechter Kamera zu einem Ver- satz der korrespondierenden Zeilen kommt, wie es in Fig. 1 gezeigt ist. Dieser Zeilenversatz vergrößert den benötigten Eingangspuffer in der Entzerrungshardware. Dies ist unvorteilhaft, da Speicher in einer FPGA Realisierung teuer ist. Der erfindungsgemäße Ansatz ermöglicht die Reduzierung des benötigten Speichers im Eingangspuffer der Hardware.
Werden für die Bildaufnahme CMOS-Sensoren mit einem Rolling-Shutter-Modus eingesetzt, erfolgt eine Bildaufnahme für jede Zeile zu einem unterschiedlichen Zeitpunkt. Dies ist anhand der Figuren 6 und 7 schematisch dargestellt. Ist aufgrund von mechanisch ungünstiger Montage der Kameras der Zeilenversatz groß, werden die für die Stereomessung benötigten korrespondierenden Merkmale zu unterschiedlichen Zeitpunkten aufgenommen. Dies führt insbesondere für die Stereomessung aus dem Kfz bei hohen Geschwindigkeiten dazu, dass aufgrund der schnellen Bewegung von Bildmerkmalen im Bild eine Korrespondenzmessung zwischen linker und rechter Bildzeile fehlschlägt.
Der erfindungsgemäße Ansatz ermöglicht die Reduzierung des zeitlichen Versatzes der Messung korrespondierender Bildmerkmale bei Einsatz von Rolling- Shutter Sensoren zur Stereomessung und damit eine Reduzierung des Fehlers der 3 D-Stereomessung. Das Verfahren zur Stereo-Messung von Punktmerkmalen und deren Korrespondenzpunktzuordnung ist in Fig. 1 schematisch dargestellt. Skizziert ist das Vorgehen für ein Stereo-Bildpaar. Das obere Stereo-Bildpaar 201 , 203 zeigt das Original-Bildpaar nach Aufnahme durch die Kamera. Aufgrund von mechanischen Ungenauigkeiten in der Montage der Kamera und durch optische Verzeichnung sind die dargestellten korrespondierenden Ecken 105 der abgebildeten Fahrzeugrückfront um mehrere Zeilen versetzt. Der Zeilenversatz 107 ist in der Grafik schematisch angegeben.
Nach der Rektifizierung 1 10 der Original-Bilder 101 , 103 mittels speziell für das Kamerasystem individuell ermittelten Kalibrierparameter sind die korrespondierenden Bildmerkmale 105 im linken und rechten rektifizierten Bild 1 1 1 , 1 13 jeweils in einer Bildzeile. Die Korrespondenzsuche ist jetzt in einer Zeile möglich, was eine echtzeitfähige Realisierung in einer Rechenhardware stark erleichtert.
Den Aufbau einer Hardware für die Stereomessung zeigt Fig. 2. Aus den beiden Bildsensoren 201 , 203 werden jeweils die Bildinhalte sequentiell, in die jeweiligen Eingangspuffer 222, 232 der Hardware gelesen. Ein Eingangs- puffer 222, 232 besteht aus Speicher für mehrere Bildzeilen und enthält damit einen Ausschnitt des Eingangsbildes.
Eine Logik 223, 233 zur Rektifizierung der Bilder füllt sequentiell, wiederum zeilenweise, die Rektifizierungspuffer 224, 234. Eine nächste Logik 240 führt eine zeilenweise Stereomessung zwischen linkem und rechtem Rektifizierungspuffer 224, 234 durch und generiert Verschiebungsmessungen. Hieraus können die SD- Koordinaten 242 der Bildmerkmale abgeleitet werden.
Aufgrund von mechanischen Fertigungstoleranzen ist die Genauigkeit der Montage des Stereosystems begrenzt. Ein Zeilenversatz der nicht justierten Stereokamerasysteme ist unvermeidbar. In dem in Fig. 2 dargestellten Hardwarekonzept mit synchronem Auslesen der Bildsensoren 201 , 203 erfordert der Zeilenversatz eine notwendige Vergrößerung der Eingangspuffer 222, 232 in der Hardware um den entsprechenden Zeilenversatz. Erfindungsgemäß kann die Größe des Eingangspuffers 222, 232 reduziert werden, indem die Bildsensoren 201 , 203 zeitlich versetzt ausgelesen werden. Die Steuerung des zeitlichen Versatzes erfolgt in Abhängigkeit von den Kalibrierinformationen.
Die Figuren 3 und 4 zeigen den Ablauf des Auslesens auf den in Fig. 2 gezeigten Kameraleitungen 221 , 231 schematisch.
Fig. 3 zeigt einen Signalverlauf beim Auslesen des Bildsensors auf den seriellen Datenleitungen bei einem zeilensynchronen Auslesen von linken und rechten Bildsensor. Der obere Verlauf ist dem linken Sensor und der untere Verlauf dem rechten Sensor zugeordnet. Über die Zeit t wird jeweils zeitgleich Bildinformationen einer Zeile 1 351 , einer Zeile 2 352, einer Zeile 3 353 usw. des linken und des rechten Sensors ausgelesen und über die seriellen Datenleitungen übertragen. Jede der Zeilen 341 , 352, 253 weist eine Mehrzahl von Helligkeitswerten 356 auf, von denen der Übersichtlichkeit halber lediglich zwei zu Beginn der Zeile 351 gezeigt sind. Gezeigt ist das allgemein übliche Vorgehen für das Lesen von Daten in eine Stereo-Auswertehardware schematisch dargestellt. Die beiden Sensoren werden taktsynchron seriell ausgelesen. Jeweils die gleichen Zeilen aus linkem und rechtem Sensor werden zeitlich synchron auf den Leitungen übertragen.
Fig. 4 zeigt entsprechend zu Fig. 3 einen Signalverlauf beim Auslesen des Bildsensors auf den seriellen Datenleitungen bei einem zeitlich versetzten Auslesen der Bildsensoren in Abhängigkeit von Kaliberinformationen, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der obere Verlauf ist dem linken Sensor und der untere Verlauf dem rechten Sensor zugeordnet. Über die Zeit t wird bezüglich des linken Sensors eine Zeile 1 351 , eine Zeile 2 352, eine Zeile 3 353 usw. ausgelesen. Parallel dazu wird bezüglich des rechten Sensors eine Zeile j 451 , eine Zeile j+1 452, eine Zeile j+2 453 usw. ausgelesen. So werden in einem Ausleseschritt die Zeilen 351 , 451 , in einem weiteren Ausleseschritt die Zei- len 352, 452, und in einem weiteren Ausleseschritt die Zeilen 353, 453 ausgelesen.
Gezeigt ist ein erfindungsgemäß optimiertes Vorgehen. Es werden geometrisch näherungsweise korrespondierende Zeilen zeitlich synchron aus dem Bildsensor übertragen. Welche Zeilen näherungsweise miteinander korrespondieren wird aus den Kalibrierinformationen berechnet und kann für jeden Sensoraufbau individuell sein. Die Steuerung des zeitlichen Versatzes kann durch die Hardware selbst erfolgen. Dies erlaubt eine Reduzierung der Größe der Eingangspuffer. Fig. 5 zeigt ein Auslesen von Regionen 501 , 503 aus einem linkem Bildsensor
201 und einem rechten Bildsensor 203 für die Stereomessung in Abhängigkeit von Kalibrierinformationen, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Regionen 501 , 503 sind gleich groß und decken unterschiedliche Sensorbereiche der Sensoren 201 , 203 ab. Dabei sind die Regionen 501 , 503 in Bezug auf die Zeilen der Sensoren 201 , 203 zueinander verschoben. Bezogen auf die Region 501 des linken Sensors 201 ist die Region 503 des rechten Sensors 204 um den Abstand 507 nach oben verschoben. Der Abstand 507 gibt dabei eine Anzahl von Zeilen an. Zusätzlich können die Regionen 501 , 503 auch in Bezug auf die Spalten der Sensoren 201 , 203 zueinander verschoben sein. In- nerhalb der Regionen 501 , 503 sind korrespondierende Bildinhalte 105 an identi- sehen oder nahezu identischen Positionen innerhalb der Regionen 501 , 503 angeordnet.
Viele CMOS-Sensoren erlauben das selektive Auslesen von Regionen 501 , 503 des Bildsensors 201 , 203. Für die Stereomessung ermöglicht dies, in Abhängigkeit von den Kalibrierdaten, die Regionen in linkem und rechtem Sensor 201 , 203 individuell gezielt so auszuwählen, dass möglichst zwischen den Regionen 501 , 503 im linken und rechten Bild kein oder nur ein geringer Zeilenversatz auftritt. Dies ermöglicht ebenfalls eine Reduzierung der Größe des Eingangspuffers in der Stereo-Hardware. Ein entsprechendes Vorgehen ist in Fig. 5 schematisch gezeigt.
Bei einer Verwendung von Rolling Shutter Sensoren werden die Zeilen des Imagers zeitlich sequentiell belichtet und ausgelesen. Die Figuren 6 und 7 zeigen dies schematisch.
Fig. 6 zeigt einen zeitlichen Ablauf der Bildaufnahme mit einem Rolling-Shutter- Sensor in einer schematischen Darstellung, bei einer zeitlich synchronen Auf- nähme mit linkem und rechtem Bildsensor
Gezeigt ist ein Bildsensor links 201 und ein Bildsensor rechts 203, von denen jeweils das Fahrzeug mit dem Eckbereich 105 erfasst ist. Der Eckbereich 105 ist wiederum um eine Anzahl von Zeilen 107 versetzt angeordnet. Ferner sind Auf- nahmezeitpunkte tO, t1 sowie eine Zeitdifferenz dt gezeigt. Dargestellt ist ein synchrones Belichten und Auslesen von linkem und rechtem Sensor 201 , 203. Der Start der zeilenweisen Belichtung erfolgt jeweils zum Zeitpunkt tO. Anschließend werden die Zeilen des Sensors 201 , 203 nacheinander belichtet und ausgelesen. Dies deutet der Pfeil links neben dem jeweiligen Bild an.
Für einen Stereoaufbau mit dem in der Fig. 1 dargestellten geometrischen Zeilenversatz führt dies dazu, dass das dargestellte Bildmerkmal 105 im linken Bild um die Zeit dt später als im rechten Bild aufgenommen wird.
Praktisch bedeutet dies folgendes. Für ein Bildfrequenz von 25 Hz und eine Bildauflösung von 500 Zeilen beträgt die Taktzeit für eine Bildzeile ca. 80 Mikrose- künden. Bei einem Zeilenversatz von 20 Bildzeilen beträgt der zeitliche Versatz der Belichtung zwischen linker und rechter Bildzeile ca. 1.6 Millisekunden. Insbesondere bei sich schnell im Bild bewegenden Objekten, beispielsweise einem Kraftfahrzeug im Nahbereich führt eine vertikale Bewegungsgeschwindigkeit ei- nes Objektes von nur 25 Pixeln pro Bild zu Bild bereits zu einem Parallaxenfehler von 1 Pixel im rektifizierten Bild. Das heißt, korrespondierende Merkmale 105 dynamischer Objekte sind nach der Rektifizierung trotzdem noch um eine Bildzeile versetzt. Die Stereomessung wird dadurch erschwert. Fig. 7 zeigt entsprechend zu Fig. 6 einen zeitlichen Ablauf der Bildaufnahme mit einem Rolling-Shutter-Sensor in einer schematischen Darstellung, bei einem zeitlich versetzten Shutter-Modus, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt ist der Bildsensor links 201 und der Bildsensor rechts 203, von denen jeweils wiederum das Fahrzeug mit dem Eckbereich 105 erfasst ist.
Durch ein zeitversetztes Arbeiten des Rolling-Shutter-Verfahrens im Stereo- System kann der anhand von Fig. 6 beschriebene Effekt, dass korrespondieren- de Merkmale 105 dynamischer Objekte nach der Rektifizierung trotzdem noch versetzt sind, vorteilhaft reduziert werden. Der Zeitversatz ist in Abhängigkeit von den Kalibrierinformationen zu wählen, wie es in Fig. 7 gezeigt ist. Der Start der Bildaufnahme des linken Sensors 201 wird um die Zeit dt verzögert. Die Verzögerung dt wird wiederum aus Kalibrierinformationen errechnet und kann für jedes Stereosystem individuell festgelegt werden.
Ein solches Vorgehen verbessert die Genauigkeit und Zuverlässigkeit der Stereomessung bei dem Einsatz von Rolling-Shutter Sensoren. Fig. 8 zeigt eine schematische Darstellung eines Verfahrens zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren 201 , 203 eines Stereo-Sensor-Systems. Die Sensoren 201 , 203 sind ausgebildet, um Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten zu erfassen. Als Sensorabschnitte sind hier beispielhaft je- weils sieben Zeilen gezeigt. Um einen Bildversatz 107 zwischen Aufnahmen der
Sensoren 201 , 203 auszugleichen, werden Bildinformationen aus den Sensorab- schnitten der Sensoren 201 , 203 versetzt zueinander ausgelesen. Das Auslesen wird durch eine Ausleseeinrichtung 861 gesteuert. Die Ausleseeinrichtung 861 ist ausgebildet, um eine Information über den Bildversatz 107 zu empfangen und basierend darauf in einem Ausleseschritt einen Sensorabschnitt des Sensors 201 und einen Sensorabschnitt des Sensors 203 auszulesen. Beispielhaft gezeigt ist, dass die Ausleseeinrichtung 861 in einem Ausleseschritt eine Bildinformation aus der zweiten Zeile des Sensors 201 und eine Bildinformation aus der sechsten Zeile des Sensors 203 ausliest. Die zweite Zeile des Sensors 201 und die sechste Zeile des Sensors 203 weisen jeweils den korrespondierenden Bildinhalt 105 auf. Gemäß diesem Ausführungsbeispiel werden somit Sensorabschnitte mit einem Versatz von vier Zeilen ausgelesen. In einem folgenden Ausleseschritt wird entsprechend eine Bildinformation aus der nachfolgenden dritte Zeile des Sensors 201 und eine Bildinformation aus der nachfolgenden siebten Zeile des Sensors 203 ausgelesen. Die ausgelesenen Bildinformationen können an eine Ver- arbeitungseinrichtung 865 ausgegeben und von dieser weiterverarbeitet oder ausgewertet werden.
Die Bildinformationen können von den Sensorabschnitten erfasst und zwischengespeichert werden. In diesem Fall kann die Ausleseeinrichtung 861 ausgebildet sein, um die Bildinformationen aus einem Zwischenspeicher auszulesen. Alternativ kann die Ausleseeinrichtung 861 ausgebildet sein, um ein Erfassen der Bildinformationen durch einen entsprechenden Sensorabschnitt auszulösen. In diesem Fall kann die die Ausleseeinrichtung 861 die Bildinformationen direkt aus den Sensorabschnitten auslesen.
Gemäß einem Ausführungsbeispiel können jeweils nur Teilbereiche der Sensorabschnitte von der Ausleseeinrichtung 861 ausgelesen werden. In diesem Fall ist die Ausleseeinrichtung 861 ausgebildet, um neben dem Versatz 807 eine weitere Information über einen Versatz innerhalb der einzelnen Sensorabschnitte, hier in horizontaler Richtung, zu empfangen und ansprechend darauf lediglich entsprechende Teilbereiche auszulesen. Besteht beispielsweise ein Versatz von einem Viertel einer Zeilenlänge so könnte beispielsweise in dem gezeigten Ausleseschritt die linke Hälfte der zweiten Zeile des linken Sensors 201 und die mittleren beiden Viertel der sechsten Zeile des rechten Sensors 203 ausgelesen werden. Die erfindungsgemäßen Ansätze des zeitversetzten Auslesens der Bildsensoren oder der Auswahl von Regionen in Abhängigkeit von den Kalibrierinformationen können beispielsweise im Zusammenhang mit Assistenzsystemen im Kraftfahrzeug eingesetzt werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.

Claims

Verfahren zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren (201 , 203) eines Stereo-Sensor-Systems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors zu erfassen, wobei das Verfahren die folgenden Schritte umfasst:
Bereitstellen einer Information (807) über einen geometrischen Versatz (107) zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors, die korrespondierende Bildinformationen aufweisen; und
Auslesen (861 ) einer Bildinformation des ersten Sensors (201 ) und einer Bildinformation des zweiten Sensors (203), wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgelesen werden mit dem Versatz erfolgt.
Verfahren gemäß Anspruch 1 , mit einem Schritt des Bestimmens des Versatzes (107) basierend auf einem Vergleich zwischen Bildinformationen aus Sensorabschnitten des ersten Sensors (201 ) und Bildinformationen aus Sensorabschnitten des zweiten Sensors (203).
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Auslesens (861 ) die Bildinformation des ersten Sensors (201 ) nur aus einem Sensorabschnitt und die Bildinformation des zweiten Sensors (203) nur aus einem zweiten Sensorabschnitt ausgelesen wird, wobei sich eine geometrische Anordnung des ersten Sensorabschnitts innerhalb des ersten Sensors in Bezug auf eine geometrische Anordnung des zweiten Sensorabschnitts innerhalb des zweiten Sensors unterscheidet.
Verfahren gemäß Anspruch 3, mit einem Schritt des Bestimmens einer Verschiebung zwischen einem ersten Bildpunkt (105) innerhalb des ersten Sen- sorabschnitts und einem zweiten Bildpunkt (105) innerhalb des zweiten Sensorabschnitts, wobei der erste Bildpunkt und der zweite Bildpunkt in Bezug auf eine erfasste Bildinformation miteinander korrespondieren.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bereitstellens eines ersten Auslösesignals, das ausgebildet ist, um ein Erfassen der Bildinformation des ersten Sensors (201 ) durch einen an einer ersten Position des ersten Sensors angeordneten Sensorabschnitt auszulösen und mit einem Schritt des Bereitstellens eines zweiten Auslösesignals, zeitlich nach oder vor dem Schritt des Bereitstellens des ersten Auslösesignals, das ausgebildet ist, um ein Erfassen der Bildinformation des zweiten Sensors durch einen an der ersten Position des zweiten Sensors angeordneten Sensorabschnitt auszulösen.
Verfahren gemäß einem der Ansprüche 1 oder 2, mit einem Schritt des Bereitstellens eines Auslösesignals, das ausgebildet ist, um ein zeitgleiches Erfassen der Bildinformation des ersten Sensors (201 ) durch einen an einer ersten Position des ersten Sensors angeordneten Sensorabschnitt und der Bildinformationen des zweiten Sensors (201 ) durch einen an einer zweiten Position des zweiten Sensors angeordneten Sensorabschnitt auszulösen, wobei zwischen der ersten Position und der zweiten Position der Versatz besteht.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Auslesens (861 ) die Bildinformation des ersten Sensors (201 ) aus einer Zeile des ersten Sensors und die Bildinformation des zweiten Sensors (203) aus einer Zeile des zweiten Sensors ausgelesen werden.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit mindestens einem weiteren Schritt des Auslesens einer weiteren Bildinformation des ersten Sensors (201 ) und einer weiteren Bildinformation des zweiten Sensors (203), wobei das Auslesen in Bezug auf die weiteren Positionen der weiteren Sensorabschnitte, aus denen die weiteren Bildinformationen ausgelesen werden mit dem Versatz erfolgt.
Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren (201 , 203) eines Stereo-Sensor-Systems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors zu erfassen, mit folgenden Merkmalen: einer Bereitstellungseinrichtung zum Bereitstellen einer Information (807) über einen Versatz (107) zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors, die korrespondierende Bildinformationen aufweisen; und einer Ausleseeinrichtung (861 ) zum Auslesen einer Bildinformation des ersten Sensors und einer Bildinformation des zweiten Sensors, wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgelesen werden mit dem Versatz erfolgt.
10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einem Computer ausgeführt wird.
PCT/EP2011/069617 2010-12-07 2011-11-08 Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems WO2012076274A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180058509.6A CN103444191B (zh) 2010-12-07 2011-11-08 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置
EP11784451.4A EP2649802A1 (de) 2010-12-07 2011-11-08 Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems
US13/992,500 US9414044B2 (en) 2010-12-07 2011-11-08 Method and device for processing image data of two sensors of a stereo sensor system suitable for capturing images
JP2013542435A JP2014503408A (ja) 2010-12-07 2011-11-08 ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法および装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010062496.9A DE102010062496B4 (de) 2010-12-07 2010-12-07 Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE102010062496.9 2010-12-07

Publications (1)

Publication Number Publication Date
WO2012076274A1 true WO2012076274A1 (de) 2012-06-14

Family

ID=44992889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/069617 WO2012076274A1 (de) 2010-12-07 2011-11-08 Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems

Country Status (6)

Country Link
US (1) US9414044B2 (de)
EP (1) EP2649802A1 (de)
JP (1) JP2014503408A (de)
CN (1) CN103444191B (de)
DE (1) DE102010062496B4 (de)
WO (1) WO2012076274A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2254091B1 (de) * 2009-05-19 2020-03-25 Veoneer Sweden AB Sichtsystem und -verfahren für ein Kraftfahrzeug
CN105164549B (zh) * 2013-03-15 2019-07-02 优步技术公司 用于机器人的多传感立体视觉的方法、系统和设备
US10412600B2 (en) * 2013-05-06 2019-09-10 Itron Networked Solutions, Inc. Leveraging diverse communication links to improve communication between network subregions
US20140348416A1 (en) * 2013-05-23 2014-11-27 Himax Media Solutions, Inc. Stereo image rectification apparatus and method
CN104811680B (zh) * 2014-01-28 2017-04-12 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
TWI520098B (zh) * 2014-01-28 2016-02-01 聚晶半導體股份有限公司 影像擷取裝置及其影像形變偵測方法
CN104811688B (zh) * 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
US8988509B1 (en) * 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
TWI526993B (zh) * 2014-03-24 2016-03-21 宏達國際電子股份有限公司 影像校正方法及其影像擷取裝置
KR102425895B1 (ko) * 2015-12-24 2022-07-27 삼성전자주식회사 전자장치의 데이터 동기 장치 및 방법
DE102016104731A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Rolling-Shutter-Effekts in Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102023108151A1 (de) 2023-03-30 2023-06-15 Daimler Truck AG Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002095681A1 (de) 2001-05-25 2002-11-28 Siemens Aktiengesellschaft Vorrichtung und verfahren zur verarbeitung von bilddaten
EP1408703A2 (de) * 2002-10-10 2004-04-14 Fuji Photo Optical Co., Ltd. Elektronisches stereoskopisches Bildaufnahmesystem
US20050077450A1 (en) * 2003-10-09 2005-04-14 Baer Richard L. CMOS stereo imaging system & method
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5007A (en) * 1847-03-13 Improvement in steam-presses
US8012A (en) * 1851-04-01 Improved machine for forming a lock on sheet metal
JPH07107517A (ja) 1993-09-30 1995-04-21 Sanyo Electric Co Ltd 立体撮像装置
JPH10224823A (ja) 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
JP4260129B2 (ja) * 2005-03-22 2009-04-30 富士フイルム株式会社 複眼撮影装置及びその調整方法
US8456515B2 (en) 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
JP4382797B2 (ja) 2006-11-09 2009-12-16 株式会社山武 対応点探索方法および３次元位置計測方法
DE102008040985B4 (de) 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002095681A1 (de) 2001-05-25 2002-11-28 Siemens Aktiengesellschaft Vorrichtung und verfahren zur verarbeitung von bilddaten
EP1408703A2 (de) * 2002-10-10 2004-04-14 Fuji Photo Optical Co., Ltd. Elektronisches stereoskopisches Bildaufnahmesystem
US20050077450A1 (en) * 2003-10-09 2005-04-14 Baer Richard L. CMOS stereo imaging system & method
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BRADLEY D ET AL: "Synchronization and rolling shutter compensation for consumer video camera arrays", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, 2009. CVPR WORKSHOPS 2009. IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 20 June 2009 (2009-06-20), pages 1 - 8, XP031512373, ISBN: 978-1-4244-3994-2 *
TRUCCO, VERRI: "Introductory techniques for 3-D Computer Vision", 1998, SPRINGER VERLAG

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
WO2014111814A3 (en) * 2013-01-15 2015-02-19 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9286522B2 (en) 2013-01-15 2016-03-15 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9531966B2 (en) 2013-01-15 2016-12-27 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9854185B2 (en) 2013-01-15 2017-12-26 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US10200638B2 (en) 2013-01-15 2019-02-05 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US10764517B2 (en) 2013-01-15 2020-09-01 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters

Also Published As

Publication number Publication date
US9414044B2 (en) 2016-08-09
CN103444191A (zh) 2013-12-11
DE102010062496A1 (de) 2012-06-14
CN103444191B (zh) 2017-06-06
EP2649802A1 (de) 2013-10-16
US20130321588A1 (en) 2013-12-05
DE102010062496B4 (de) 2022-01-20
JP2014503408A (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
EP2710794B1 (de) Verfahren zur erzeugung und auswertung eines bilds
DE102008034979B4 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
DE102009005861A1 (de) Fahrzeugumgebungs-Erkennungssystem
EP2433092B1 (de) Luftbildkamera-system und verfahren zum korrigieren von verzerrungen in einer luftbildaufnahme
DE102013220477B4 (de) Verfahren und Vorrichtung zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung
DE112012004352B4 (de) Stereobildgebungsvorrichtung
DE202016007867U1 (de) Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform
DE102006051950B3 (de) Steuerung für eine elektronische Zeilenkamera
DE112010003748T5 (de) Verfahren und vorrichtung für die bildkorrektur
DE112019006274B4 (de) Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras und Verfahren zur Steuerung bzw. Synchronisierung einer ersten und einer zweiten Kamera des Kamerasystems
DE69221258T2 (de) Weitwinkelbild-Erzeugungssystem
DE102012112118B4 (de) Verwendung eines Bildsensors zur Aufzeichnung schnell aufeinander folgender Bilder
DE102010021221A1 (de) Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera
DE2816839C3 (de) Schaltungsanordnung zum Aufbereiten eines abgetasteten Musters
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
DE102011083745A1 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen
AT501761B1 (de) Farbzeilenkamera
DE102005060048B4 (de) Vorrichtung und Verfahren zur Aufnahme und Verarbeitung mindestens einer getakteten Bildfolge
DE102015006637A1 (de) Verfahren zur Entzerrung von Bildern
DE102014219422B4 (de) Fahrerassistenzsystem für ein Fahrzeug und ein Verfahren zum Anpassen eines Bildbereichs eines Bildes für ein Fahrerassistenzsystem
DE112019002126T5 (de) Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür
DE19713945A1 (de) Vorrichtung zur Ortung von beweglichen Objekten
AT520839A4 (de) Verfahren zur Erstellung einer Bildstapel-Datenstruktur
AT504626B1 (de) Verfahren und einrichtung zur aufnahme, prüfung und auswertung von bildern eines gegenstandes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11784451

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011784451

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011784451

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013542435

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13992500

Country of ref document: US