WO2007019920A1 - Verfahren und vorrichtung zur merkmalsbasierten bewegungsbestimmung - Google Patents

Verfahren und vorrichtung zur merkmalsbasierten bewegungsbestimmung Download PDF

Info

Publication number
WO2007019920A1
WO2007019920A1 PCT/EP2006/006889 EP2006006889W WO2007019920A1 WO 2007019920 A1 WO2007019920 A1 WO 2007019920A1 EP 2006006889 W EP2006006889 W EP 2006006889W WO 2007019920 A1 WO2007019920 A1 WO 2007019920A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
camera
filter
camera images
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2006/006889
Other languages
English (en)
French (fr)
Inventor
Onkar Ambekar
Ermani M. Fernandes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of WO2007019920A1 publication Critical patent/WO2007019920A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Definitions

  • the present invention relates to a method for feature-based motion determination based on a plurality of, preferably temporally successive, camera images using the Kanade-Lucas-Tomasi method.
  • the present invention further relates to a feature-based motion determination device based on a plurality of, preferably temporally successive, camera images of a camera system of a motor vehicle, using the Kanade-Lucas-Tomasi method.
  • This object is achieved in a method of the type mentioned in the present invention that at least one camera image is subjected to a filtering by a ranking filter.
  • the inventive filtering of the camera image by a ranking filter requires a relatively low computational effort. Therefore, the method according to the invention is particularly suitable for implementation on arithmetic units with limited processor power or limited memory resources, as used for example in a control unit of a motor vehicle.
  • a displacement vector between two camera images is determined as a function of a predeterminable deviation measure ⁇ , whereby the following applies to the deviation measure ⁇ :
  • the weighting function w ⁇ x) is preferably chosen to be 1; Alternatively, however, it is also possible to select the weighting function, for example, such that a center of the considered area W is weighted more heavily than the edges of the integration area W.
  • the filtering according to the invention with the ranking filter is also only to be carried out for the relevant area W of the respective camera image, which further accelerates the method.
  • the weighting function vv (x) can also be realized by a ranking filter.
  • a median filter is used as the ranking filter.
  • the brightness values lying within a filter mask of a predeterminable size are sorted according to their size, whereby a sorted list of the brightness values lying within the filter mask is obtained. From this sorted list, the average brightness value is selected and forms the corresponding brightness value of the filtered pixel.
  • To generate the sorted list in median filtering in contrast to rejection operations, as are usually required in the application of conventional filter algorithms, only logic operations such as comparisons of integers, ie the brightness values of a camera image, required, which can be processed particularly efficiently on an electronic processing unit are. Due to the fact that the creation of the sorted list as well as the remaining median filtering requires no additions and in particular no multiplications, the method according to the invention can also be carried out on relatively simple arithmetic units, in particular also under real-time requirements.
  • the camera images are obtained from a camera system of a motor vehicle, and the method for determining movement is carried out in a control device of the motor vehicle.
  • Motion determination method for example, be used for environmental observation in motor vehicles.
  • parking aid systems which, for example, graphically highlight moving areas of a camera image of a rearview camera system on a display device during a parking process in order to allow the driver of the motor vehicle an easier assessment of the parking situation.
  • the movement determination method according to the invention can also be used in so-called lane departure warning systems, ie in lane change detection systems, as well as in night vision systems and the like.
  • the camera images are color images, each camera image preferably having three color channels.
  • Ranking filtering or median filtering in this case is to be performed for each of the three color channels.
  • Yet another very advantageous embodiment of the method according to the invention provides that the camera images, preferably before the filtering by the ranking filter and / or before the movement determination, are equalized by calculation.
  • geometrical or perspective distortions possibly resulting from an arrangement of the camera system on the motor vehicle or from other effects can be compensated for or eliminated, as a result of which a more precise determination of movement is made possible.
  • the features to be used for the movement determination are determined as a function of operating variables of the motor vehicle, in particular as a function of a speed and / or a steering angle, or depending on other parameters, such as e.g. an ambient brightness and / or an outside temperature selected.
  • a subarea of a camera image can be specifically subjected to the motion tuning according to the invention, resulting in a reduction of the computing power required for carrying out the method.
  • a driving tube of the motor vehicle in which the motor vehicle will move in the near future. Outside this driving range lying areas must, for example. are not supplied to the movement determination according to the invention and can therefore be discarded.
  • the consideration of an ambient brightness and / or an outside temperature and other other parameters can be used to improve the image processing steps in the feature-based motion determination method.
  • the operating variables of the motor vehicle or the other parameters can be obtained within the motor vehicle, for example, by further control devices of the motor vehicle.
  • individual points of the camera images are used as features for the movement determination.
  • a device according to claim 10 is provided.
  • the device according to the invention has corresponding filter means.
  • the device is designed as a control unit of a motor vehicle or integrated into an existing control unit of a motor vehicle.
  • the device according to the invention is designed as a control unit of a motor vehicle or integrated into an existing control unit of a motor vehicle.
  • a bus connection of the invention is very particularly advantageous Device provided to a data bus of the motor vehicle.
  • operating variables of the motor vehicle or further parameters required for the operation of the device according to the invention can be obtained via such a bus connection.
  • the device according to the invention has an arithmetic unit designed in particular as a microprocessor or digital signal processor, DSP, or as an application-specific integrated circuit, ASIC.
  • DSP digital signal processor
  • ASIC application-specific integrated circuit
  • the filter means according to the invention for implementing the ranking filter are advantageously integrated in the arithmetic unit and / or realized by the arithmetic unit.
  • the filter media according to the invention is designed as a separate hardware component, for example as an ASIC, in order to relieve the arithmetic unit in carrying out the method according to the invention.
  • FIG. 1 shows a first embodiment of the device according to the invention
  • FIG. 2 shows a flow chart of an embodiment of the method according to the invention
  • FIG. 3 shows a flowchart of a further variant of the method according to the invention
  • Figure 4a shows a portion of a camera image to be filtered including a filter mask used for this purpose
  • FIG. 4b shows the subarea of the camera image to be filtered from FIG. 4a with a filter mask shifted to the right by one pixel.
  • the inventive feature-based motion determination device using the Kanade-Lucas-Tomasi method is implemented in a control device 200 of a motor vehicle not shown in FIG.
  • the control unit 200 is connected via a data link 150 to the camera system 100, which is a reversing camera system of the motor vehicle 11.
  • a direct data connection 150 between the camera system 100 and the control unit 200 it is also possible to provide a data exchange between the camera system 100 and the control unit 200 via a data bus 300 present in the motor vehicle, which is generally used for data exchange between different control units (not shown). of the motor vehicle is provided. This possibility is indicated by the connecting lines between the camera system 100 and the control unit 200 and the data bus 300, which are shown by dashed lines in FIG.
  • control unit 200 a preferably as a digital signal processor (DSP) formed computing unit 220, which is suitable inter alia for performing those computing steps, which in the application of the Kanade-Lucas-Tomasi method for feature-based motion determination must be performed.
  • DSP digital signal processor
  • the arithmetic unit 220 has filter means 210, which are provided for realizing a ranking filter.
  • the filter means 210 can be provided either in the form of a program code, for example in a main memory or in a program memory of the arithmetic unit 220, or as a separate hardware component 210, which can carry out the hierarchy filtering according to the invention essentially independently and thus relieves the arithmetic unit 220.
  • the arithmetic unit 220 receives from the camera system 100 either via a direct data connection 150 between the camera system 100 and the control unit 200 or via the data bus 300 of the motor vehicle at least two preferably consecutive camera images I, J, of which in the figures 4a, 4b symbolically a section is shown.
  • the image detail depicted in FIG. 4a shows only brightness values of one of the three color channels of the camera images I, J, which are color images.
  • the camera images I, J are preferably temporarily stored in the control unit 200 or in the arithmetic unit 220 for further processing.
  • the filtering according to the invention of the camera images I, J then takes place with the ranking filter implemented by the filter means 210 (FIG. 1), which is in particular a median filter.
  • the median filter is used to smooth the camera images I, J, resulting in a more precise feature-based Motion determination based on these camera images is guaranteed.
  • a movement determination is finally carried out in step 420 based on the Kanade-Lucas-Tomasi method, wherein the two camera images I, J filtered according to the invention are used.
  • a deviation measure ⁇ is defined in a conventional manner, for which the following applies:
  • x represents a point of the respective camera image I, J, where W represents a region of the respective camera image I, J, over which is integrated, and where w ⁇ x) represents a weighting function.
  • Displacement vector d is considered that displacement vector, which provides a minimum deviation measure ⁇ , ie in which a deviation between the consecutive camera images is minimized.
  • Displacement vector d instead of the entire camera image I, J, only a portion W of the respective camera image I, J are considered.
  • this median filtering should also be performed only for the subregion W of the respective camera image I, J.
  • weighting function w (x) allows a weighting of the interferant of the above equation, for example, to be selectively selected e.g. to emphasize an inner area of the entire area W to be integrated.
  • the weighting function w (x) can in turn be realized by a ranking filter.
  • the features to be used for determining the movement are selected as a function of operating variables of the motor vehicle, in particular as a function of a speed and / or a steering angle.
  • operating variables can be obtained from the control unit 200 (FIG. 1), for example via the data bus 300, by further control units, not shown in FIG. 1, of the motor vehicle.
  • a number of the features used can be determined in dependence on the parameters mentioned above.
  • FIG. 4a shows the median filtering according to the invention, cf.
  • Step 410 of Figure 2 a section of the camera image I, wherein only the brightness values of one of the three color channels of the camera image I are reproduced.
  • the median filter used in step 410 of FIG. 2 has a filter mask 110, which comprises a total of nine brightness values of the camera image I.
  • a filter mask 110 which comprises a total of nine brightness values of the camera image I.
  • This sorting step requires only logical operations in the filter means 210 and the computation unit 220 (FIG. 1), but not multiplications or additions as in the case of conventional convolution filters, and is therefore relatively expensive in terms of computation.
  • the average brightness value is now extracted. In the present example, this is the brightness value "124", that is to say the brightness value which corresponds to the pixel of the considered color channel arranged in FIG. 4a at the top left in the filter mask 110.
  • the old brightness value "150” is replaced by the value "124" obtained by the median filtering.
  • step 411 in turn, all nine brightness values covered by the filter mask 110 (FIG. 4 a) in the vicinity of the pixel I (x_0, y_0) to be calculated are extracted from the camera image I and sorted in step 412 in the sense of median filtering, as already described above.
  • brightness values are inserted into the sorted list, which has been so far six brightness values ⁇ 119, 124, 126, 125, 127, 133 ⁇ , in the given sort order in the sense of median filtering, whereby a new sorted list ⁇ 119, 124, 126, 125, 127, 133, 133, 134, 135 ⁇ arises.
  • the overhead of creating the new sorted list ⁇ 119, 124, 126, 125, 127, 133, 133, 134, 135 ⁇ is accordingly less than the formation of a sorted list without regard to the six already presorted brightness values from a previous filtering step of an adjacent one luminance value.
  • this method variant represents a further expedient optimization of the method according to the invention and thus promotes the feasibility of the method also on computing units 220 with limited computing power.
  • the device 200 according to the invention or the method according to the invention is an efficient feature-based method
  • Motion determination possible which can be carried out in the control units of a motor vehicle arranged computing units 220 due to the optimizations of the invention.
  • the size of the filter mask 110 used (FIG. 4 a) can also be increased, depending on the available computing power, whereby the effort for creating the sorted list in the context of median filtering increases quadratically with the edge length of the filter mask 110 expressed in brightness values or picture elements.
  • the features to be used for the movement determination are selected as a function of operating variables of the motor vehicle, in particular as a function of a speed and / or steering angle. From these operating variables of the motor vehicle, for example, a travel tube can be calculated which indicates an anticipated future position of the motor vehicle, on the basis of which, for example, only certain sections the camera images I, J and no longer the entire camera images I, J are to be considered, which significantly reduces the computational effort to carry out the method according to the invention.
  • the sections of the camera images I, J to be considered are represented by the integration range W given in the above-mentioned equation.
  • an ambient brightness or an outside temperature are taken into account, in particular in the case of additional image processing steps in which the camera images I, J are conditioned, for example, to improve a contrast, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur merkmalsbasierten Bewegungsbestimmung anhand von mehreren, vorzugsweise zeitlich aufeinander folgenden, Kamerabildern (I, J) unter Verwendung des Kanade-Lucas-Tomasi-Verfahrens. Um eine effiziente Durchführung des Verfahrens zu ermöglichen, ist erfindungemäß vorgesehen, dass mindestens ein Kamerabild (I, J) einer Filterung durch einen Rangordnungsfilter unterzogen wird.

Description

Titel: Verfahren und Vorrichtung zur merkmalsbasierten Bewegungsbestimmung
Beschreibung
Die vorliegende Erfindung betrifft ein Verfahren zur merkmalsbasierten Bewegungsbestimmung anhand von mehreren, vorzugsweise zeitlich aufeinanderfolgenden, Kamerabildern unter Verwendung des Kanade-Lucas-Tomasi-Verfahrens .
Die vorliegende Erfindung betrifft ferner eine Vorrichtung zur merkmalsbasierten Bewegungsbestimmung anhand von mehreren, vorzugsweise zeitlich aufeinander folgenden, Kamerabildern eines Kamerasystems eines Kraftfahrzeugs, unter Verwendung des Kanade-Lucas-Tomasi-Verfahrens.
Verfahren und Vorrichtungen dieser Art sind bekannt und setzen üblicherweise mathematisch komplexe Filterverfahren ein, um die Kamerabilder vor der eigentlichen Bewegungsbestimmung hinsichtlich einer guten Verwendbarkeit für die Bewegungsbestimmung zu konditionieren. Zur Durchführung dieser Filterverfahren sind eine Vielzahl von Multiplikationen und Additionen umfassende FaItungsOperationen mit einer vorgegebenen Filtermaske erforderlich, die eine entsprechende Rechenleistung erfordern und daher u.U. nicht in Echtzeit durchgeführt werden können, insbesondere nicht auf mobilen Recheneinheiten, wie sie beispielsweise in Steuergeräten von Kraftfahrzeugen eingesetzt werden.
Demgemäß ist es Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung der eingangs genannten Art dahingehend zu verbessern, dass eine entsprechende Konditionierung der Kamerabilder für die Bewegungsbestimmung mit geringerem rechnerischem Aufwand durchführbar ist.
Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass mindestens ein Kamerabild einer Filterung durch einen Rangordnungsfilter unterzogen wird.
Im Gegensatz zu herkömmlichen Filterungsverfahren, die zusammen mit dem Kanade-Lucas-Tomasi-Verfahren verwendet werden, wie z.B. einer Filterung eines Kamerabilds mit einem Gauß-Filter, erfordert die erfindungsgemäße Filterung des Kamerabilds durch einen Rangordnungsfilter einen verhältnismäßig geringen rechnerischen Aufwand. Das erfindungemäße Verfahren eignet sich daher insbesondere zur Durchführung auf Recheneinheiten mit eingeschränkter Prozessorleistung bzw. eingeschränkten Speicherressourcen wie sie beispielsweise in einem Steuergerät eines Kraftfahrzeugs eingesetzt werden.
Im Gegensatz zu den herkömmlichen Filterverfahren, die das mathematisch sehr aufwendige Ausführen von
Faltungsoperationen erfordern, bei denen eine hohe Anzahl von Multiplikationen und Additionen erforderlich ist, sind zur Durchführung der erfindungsgemäßen Rangordnungsfilterung lediglich Logikoperationen wie bspw. das Sortieren von Helligkeitswerten des zu filternden Kamerabilds erforderlich, so dass auch auf einfachen Recheneinheiten insgesamt eine wesentlich schnellere Filterung eines Kamerabilds erzielbar ist und damit eine Echtzeitverarbeitung der Kamerabilder z.B. in einem Steuergerät eines Kraftfahrzeugs .
Bei einer Ausführungsform des erfindungsgemäßen Verfahrens wird ein Verschiebungsvektor zwischen zwei Kamerabildern in Abhängigkeit eines vorgebbaren Abweichungsmaßes ε ermittelt, wobei für das Abweichungsmaß ε gilt:
Figure imgf000004_0001
wobei x einen Punkt des jeweiligen Kamerabilds I, J repräsentiert, W einen Bereich des jeweiligen Kamerabilds I,
J repräsentiert, über den integriert wird, und wobei vv(.x) eine Gewichtungsfunktion repräsentiert.
Die Gewichtungsfunktion w{x) wird vorzugsweise zu 1 gewählt; alternativ hierzu ist es jedoch auch möglich, die Gewichtungsfunktion bspw. derart zu wählen, dass eine Mitte des betrachteten Bereichs W stärker gewichtet wird als die Ränder des Integrationsbereichs W.
In Abhängigkeit des für die Bewegungsbestimmung ausgewählten Bereichs W ist auch die erfindungsgemäße Filterung mit dem Rangordnungsfilter nur für den betreffenden Bereich W des jeweiligen Kamerabilds durchzuführen, was dajs Verfahren weiter beschleunigt.
Gemäß einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung kann auch die Gewichtungsfunktion vv(x) durch einen Rangordnungsfilter realisiert sein.
Bei einer ganz besonders vorteilhaften Variante des erfindungsgemäßen Verfahrens wird als Rangordnungsfilter ein Medianfilter verwendet. Bei einem Medianfilter werden die innerhalb einer Filtermaske vorgebbarer Größe liegenden Helligkeitswerte ihrer Größe nach sortiert, wodurch eine sortierte Liste der innerhalb der Filtermaske liegenden Helligkeitswerte erhalten wird. Aus dieser sortierten Liste wird der mittlere Helligkeitswert ausgewählt und bildet den entsprechenden Helligkeitswert des gefilterten Bildpunkts. Zur Erzeugung der sortierten Liste bei der Medianfilterung sind im Gegensatz zu FaItungsOperationen, wie sie bei der Anwendung herkömmlicher Filteralgorithmen zumeist erforderlich sind, lediglich Logikoperationen wie bspw. Vergleiche von Ganzzahlen, d.h. den Helligkeitswerten eines Kamerabilds, erforderlich, welche auf einer elektronischen Recheneinheit besonders effizient verarbeitbar sind. Aufgrund der Tatsache, dass das Erstellen der sortierten Liste sowie die restliche Medianfilterung keine Additionen und insbesondere keine Multiplikationen erfordert, ist das erfindungsgemäße Verfahren auch auf verhältnismäßig einfachen Recheneinheiten durchführbar, insbesondere auch unter Echtzeitanforderungen .
Einer weiteren sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens zufolge werden die Kamerabilder von einem Kamerasystem eines Kraftfahrzeugs erhalten, und das Verfahren zur Bewegungsbestimmung wird in einem Steuergerät des Kraftfahrzeugs durchgeführt. Auf diese Weise kann das erfindungsgemäße merkmalsbasierte
Bewegungsbestimmungsverfahren bspw. zur Umfeldbeobachtung bei Kraftfahrzeugen eingesetzt werden.
Mögliche Anwendungsbereiche ergeben sich hierbei auch in Form von Einparkhilfesystemen, die bspw. sich bewegende Bereiche eines Kamerabilds bspw. eines Rückfahrkamerasystems auf einem Anzeigegerät grafisch hervorheben während eines Einparkprozesses, um dem Fahrer des Kraftfahrzeugs eine einfachere Beurteilung der Einparksituation zu ermöglichen.
Das erfindungsgemäße Bewegungsbestimmungsverfahren kann ferner bei sogenannten lane departure warning Systems, d.h. bei Spurwechselerkennungssystemen, sowie bei Nachtsichtsystemen und dergleichen eingesetzt werden. Bei einer weiteren sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens sind die Kamerabilder Farbbilder, wobei jedes Kamerabild vorzugsweise drei Farbkanäle aufweist. Die erfindungsgemäße
Rangordnungsfilterung bzw. Medianfilterung ist in diesem Fall für jeden der drei Farbkanäle auszuführen.
Noch eine weitere sehr vorteilhafte Ausführungsform des erfindungsgemäßen Verfahrens sieht vor, dass die Kamerabilder, vorzugsweise vor der Filterung durch den Rangordnungsfilter und/oder vor der Bewegungsbestimmung, rechnerisch entzerrt werden. Hierdurch sind möglicherweise durch eine Anordnung des Kamerasystems an dem Kraftfahrzeug oder durch sonstige Effekte entstehende geometrische bzw. perspektivische Verzerrungen kompensierbar bzw. eliminierbar, wodurch eine präzisere Bewegungsbestimmung ermöglicht ist.
Bei einer anderen sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens werden die für die Bewegungsbestimmung zu verwendenden Merkmale in Abhängigkeit von Betriebsgrößen des Kraftfahrzeugs, insbesondere in Abhängigkeit einer Geschwindigkeit und/oder eines Lenkwinkels, oder in Abhängigkeit von sonstigen Parametern wie z.B. einer Umgebungshelligkeit und/oder einer Außentemperatur ausgewählt.
In Abhängigkeit dieser Betriebsgrößen kann bspw. gezielt jeweils nur ein Teilbereich eines Kamerabilds der erfindungsgemäßen BewegungsStimmung unterzogen werden, wodurch sich eine Reduktion der zur Durchführung des Verfahrens erforderlichen Rechenleistung ergibt. Bspw. kann in Abhängigkeit der vorstehend genannten Betriebsgrößen ein Fahrschlauch des Kraftfahrzeugs berechnet werden, in dem sich das Kraftfahrzeug in der näheren Zukunft fortbewegen wird. Außerhalb diese Fahrschlauchs liegende Bereiche müssen bspw. nicht der erfindungsgemäßen Bewegungsbestimmung zugeführt werden und können daher verworfen werden.
Die Berücksichtigung einer Umgebungshelligkeit und/oder einer Außentemperatur sowie weiterer sonstiger Parameter kann zur Verbesserung der Bildverarbeitungsschritte im Rahmen des merkmalsbasierten Bewegungsbestimmungsverfahrens verwendet werden.
Die Betriebsgrößen des Kraftfahrzeugs oder die sonstigen Parameter können innerhalb des Kraftfahrzeugs bspw. durch weitere Steuergeräte des Kraftfahrzeugs erhalten werden.
Bei einer weiteren sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens werden einzelne Punkte der Kamerabilder als Merkmale für die Bewegungsbestimmung verwendet .
Als eine weitere Lösung der Aufgabe der vorliegenden Erfindung ist eine Vorrichtung gemäß Patentanspruch 10 angegeben. Zur Durchführung der erfindungsgemäßen Filterung des Kamerabilds mit einem Rangordnungsfilter weist die erfindungsgemäße Vorrichtung entsprechende Filtermittel auf.
Bei einer besonders vorteilhaften Ausführungsform der erfindungsgemäßen Vorrichtung ist die Vorrichtung als Steuergerät eines Kraftfahrzeugs ausgebildet oder auch in ein bestehendes Steuergerät eines Kraftfahrzeugs integriert. Bei der Integration der erfindungsgemäßen Vorrichtung in einem bestehenden Steuergerät können sämtliche zur Ausführung des erfindungsgemäßen Verfahrens erforderlichen Funktionen durch eine Recheneinheit des bestehenden Steuergeräts realisiert sein.
Ganz besonders vorteilhaft ist gemäß einer weiteren Erfindungsvariante eine Busanbindung der erfindungsgemäßen Vorrichtung an einen Datenbus des Kraftfahrzeugs vorgesehen. Über eine derartige Busanbindung können bspw. Betriebsgrößen des Kraftfahrzeugs oder weitere für den Betrieb der erfindungsgemäßen Vorrichtung erforderliche Parameter erhalten werden.
Die erfindungsgemäße Vorrichtung weist bei einer anderen vorteilhaften Ausführungsform eine insbesondere als Mikroprozessor oder digitaler Signalprozessor, DSP, oder als anwendungsspezifische integrierte Schaltung, ASIC, ausgebildete Recheneinheit auf.
Vorteilhaft sind die erfindungsgemäßen Filtermittel zur Realisierung des Rangordnungsfilters in der Recheneinheit integriert und/oder durch die Recheneinheit realisiert.
Alternativ hierzu ist es ferner möglich, die erfindungsgemäßen Filtermittel als separaten Hardwarebaustein, bspw. als ASIC, auszulegen, um die Recheneinheit bei der Durchführung des erfindungsgemäßen Verfahrens zu entlasten.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnung verschiedene Ausführungsbeispiele der Erfindung dargestellt sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein.
In der Zeichnung zeigt:
Figur 1 eine erste Ausführungsform der erfindungsgemäßen Vorrichtung,
Figur 2 ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens, Figur 3 ein Flussdiagramm einer weiteren Variante des erfindungsgemäßen Verfahrens,
Figur 4a einen Teilbereich eines zu filternden Kamerabilds einschließlich einer hierzu verwendeten Filtermaske, und
Figur 4b den Teilbereich des zu filternden Kamerabilds aus Figur 4a mit einer um einen Bildpunkt nach rechts verschobenen Filtermaske.
Die erfindungsgemäße Vorrichtung zur merkmalsbasierten Bewegungsbestimmung unter Verwendung des Kanade-Lucas-Tomasi- Verfahrens ist in einem Steuergerät 200 eines nicht in Figur 1 abgebildeten Kraftfahrzeugs realisiert. Das Steuergerät 200 ist über eine Datenverbindung 150 mit dem Kamerasystem 100 verbunden, bei dem es sich um ein Rückfahrkamerasystem des Kraftfahrzeugs hande11.
Alternativ zu einer direkten Datenverbindung 150 zwischen dem Kamerasystem 100 und dem Steuergerät 200 ist es auch möglich, einen Datenaustausch zwischen dem Kamerasystem 100 und dem Steuergerät 200 über einen in dem Kraftfahrzeug vorhandenen Datenbus 300 vorzusehen, der allgemein zum Datenaustausch zwischen verschiedenen Steuergeräten (nicht gezeigt) des Kraftfahrzeugs vorgesehen ist. Diese Möglichkeit ist durch die in Figur 1 gestrichelt ausgeführten Verbindungslinien zwischen dem Kamerasystem 100 bzw. dem Steuergerät 200 und dem Datenbus 300 angedeutet.
Zur Durchführung des erfindungsgemäßen
Bewegungsbestimmungsverfahrens weist das Steuergerät 200 eine vorzugsweise als digitaler Signalprozessor (DSP) ausgebildete Recheneinheit 220 auf, die u.a. zur Durchführung derjenigen Rechenschritte geeignet ist, welche bei der Anwendung des Kanade-Lucas-Tomasi-Verfahrens zur merkmalsbasierten Bewegungsbestimmung ausgeführt werden müssen.
Ferner weist die Recheneinheit 220 Filtermittel 210 auf, welche zur Realisierung eines Rangordnungsfilters vorgesehen sind. Die Filtermittel 210 können entweder in Form eines Programmcodes bspw. in einem Arbeitsspeicher oder in einem Programmspeicher der Recheneinheit 220 vorgesehen sein, oder auch als separate Hardwarekomponente 210, welche die erfindungsgemäße Rangordnungsfilterung im wesentlichen autark durchführen kann und auf diese Weise die Recheneinheit 220 entlastet.
Das erfindungsgemäße Verfahren ist nachfolgend anhand des Flussdiagramms aus Figur 2 näher erläutert.
In einem ersten Schritt 400 erhält die Recheneinheit 220 (Figur 1) von dem Kamerasystem 100 entweder über eine direkte Datenverbindung 150 zwischen dem Kamerasystem 100 und dem Steuergerät 200 oder über den Datenbus 300 des Kraftfahrzeugs mindestens zwei vorzugsweise aufeinander folgende Kamerabilder I, J, von denen in den Figuren 4a, 4b symbolisch ein Ausschnitt abgebildet ist. Dabei zeigt der in Figur 4a abgebildete Bildausschnitt allerdings nur Helligkeitswerte eines der drei Farbkanäle der Kamerabilder I, J, bei denen es sich um Farbbilder handelt.
Die Kamerabilder I, J, werden in dem Steuergerät 200 bzw. in der Recheneinheit 220 zur weiteren Bearbeitung vorzugsweise temporär gespeichert. Gemäß Schritt 410 aus Figur 2 erfolgt anschließend die erfindungemäße Filterung der Kamerabilder I, J mit dem durch die Filtermittel 210 (Figur 1) realisierten Rangordnungsfilter, bei dem es sich speziell um einen Medianfilter handelt. Der Medianfilter dient zur Glättung der Kamerabilder I, J, wodurch eine präzisere merkmalsbasierte Bewegungsbestimmung basierend auf diesen Kamerabildern gewährleistet ist.
Nach Abschluss der Medianfilterung der Kamerabilder I, J in Schritt 410 wird in Schritt 420 schließlich eine Bewegungsbestimmung basierend auf dem Kanade-Lucas-Tomasi- Verfahren durchgeführt, wobei die beiden erfindungsgemäß gefilterten Kamerabilder I, J verwendet werden.
Eine derartige Bewegungsbestimmung erfolgt dabei durch die
Ermittlung eines Verschiebungsvektors d zwischen den beiden Kamerabildern I, J, aus dem auf eine Bewegung von in den Kamerabildern I, J, enthaltenen Objekten geschlossen werden kann.
Hierzu wird in herkömmlicher Weise ein Abweichungsmaß ε definiert, für das gilt:
Figure imgf000011_0001
wobei x einen Punkt des jeweiligen Kamerabilds I, J repräsentiert, wobei W einen Bereich des jeweiligen Kamerabilds I, J repräsentiert, über den integriert wird, und wobei w{x) eine Gewichtungsfunktion repräsentiert.
Zur Ermittlung des tatsächlichen Verschiebungsvektors d wird die oben stehende Gleichung ausgewertet, wobei als optimaler
Verschiebungsvektor d derjenige Verschiebungsvektor angesehen wird, der ein minimales Abweichungsmaß ε liefert, d.h. bei dem eine Abweichung zwischen den aufeinander folgenden Kamerabildern möglichst gering ist. Wie aus dem Integrationsbereich W der vorstehend beschriebenen Gleichung folgt, kann zur Ermittlung des
Verschiebungsvektors d anstelle des gesamtem Kamerabilds I, J auch nur ein Teilbereich W des jeweiligen Kamerabilds I, J betrachtet werden. In diesem Fall ist in dem der Bewegungsbestimmung 420 vorangehenden Schritt 410 der Medianfilterung diese Medianfilterung auch nur für den Teilbereich W des jeweiligen Kamerabilds I, J durchzuführen.
Ferner erlaubt die Gewichtungsfunktion w(x) eine Gewichtung des Intergranden der vorstehenden Gleichung, bspw. um selektiv z.B. einen inneren Bereich des gesamten zu integrierenden Bereichs W zu betonen.
Die Gewichtungsfunktion w(x) kann ihrerseits durch einen Rangordnungsfilter realisiert werden.
Bei einer sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens findet vor der Medianfilterung in Schritt 410 aus Figur 2 eine rechnerische Entzerrung der Kamerabilder I, J statt, vgl. Schritt 405 aus Figur 2, wodurch eine noch genauere Bewegungsbestimmung ermöglicht wird, da beispielsweise perspektivische Verzerrungen der Kamerabilde I, J vor der Bewegungsbestimmung reduziert oder sogar eliminiert werden.
Bei einer weiteren besonders vorteilhaften Erfindungsvariante werden die für die Bewegungsbestimmung zu verwendenden Merkmale in Abhängigkeit von Betriebsgrößen des Kraftfahrzeugs ausgewählt, insbesondere in Abhängigkeit einer Geschwindigkeit und/oder eines Lenkwinkels. Derartige Betriebsgrößen können von dem Steuergerät 200 (Figur 1) bspw. über den Datenbus 300 von weiteren, nicht in Figur 1 abgebildeten Steuergeräten des Kraftfahrzeugs erhalten werden. Es ist ferner möglich, die Auswahl der für die Bewegungsbestimmung verwendeten Merkmale in Abhängigkeit einer Umgebungshelligkeit oder einer Außentemperatur sowie weiterer Parameter durchzuführen, die durch ein in dem Kraftfahrzeug vorhandenes System erfasst und an das erfindungsgemäße Steuergerät 200 weitergeleitet werden können. Ebenso kann eine Anzahl der verwendeten Merkmale in Abhängigkeit der vorstehend genannten Parameter festgelegt werden .
Figur 4a zeigt zur Veranschaulichung der erfindungsgemäßen Medianfilterung, vgl. Schritt 410 aus Figur 2, einen Ausschnitt aus dem Kamerabild I, wobei nur die Helligkeitswerte eines der drei Farbkanäle des Kamerabilds I wiedergegeben sind.
Der in Schritt 410 von Figur 2 eingesetzte Medianfilter weist eine Filtermaske 110 auf, die jeweils insgesamt neun Helligkeitswerte des Kamerabilds I umfasst. Zur Ermittlung eines mediangefilterten Bildpunkts I(x_0, y_0) , der in dem in Figur 4a gezeigten Ausschnitt des Kamerabilds I in der Mitte dargestellt ist und vor der Medianfilterung in dem abgebildeten Farbkanal einen Helligkeitswert von 150 aufweist, werden die dem betrachteten Bildpunkt I(x_0, y_0) benachbarten und durch die Filtermaske 110 definierten Helligkeitswerte aus dem Kamerabild I extrahiert und gemäß ihrem jeweiligen Zahlenwert sortiert, wodurch eine sortierte Liste erhalten wird.
Dieser Schritt des Sortierens erfordert bei den Filtermitteln 210 bzw. der Recheneinheit 220 (Figur 1) nur jeweils logische Operationen, nicht jedoch Multiplikationen oder Additionen wie bei herkömmlichen Faltungsfiltern, und ist daher verhältnismäßig wendig rechenaufwendig. Aus der nunmehr sortierten Liste mit den durch die Filtermaske 110 definierten Helligkeitswerten {115, 119, 120, 123, 124, 125, 126, 127, 150} wird nun der mittlere Helligkeitswert extrahiert. Im vorliegenden Beispiel handelt es sich hierbei um den Helligkeitswert „124", das heißt, um denjenigen Helligkeitswert, der dem in Figur 4a links oben in der Filtermaske 110 angeordneten Bildpunkt des betrachteten Farbkanals entspricht.
Zum Abschluss der Medianfilterung des Bildpunkts I(x_0, y_0) wird der alte Helligkeitswert „150" durch den mittels der Medianfilterung erhaltenen Wert „124" ersetzt.
In derselben Weise wird für die weiteren Bildpunkte des betrachteten Kamerabilds verfahren, wobei die beschriebene Medianfilterung bspw. für jeden der drei Farbkanäle erfolgen kann.
Eine besonders vorteilhafte Variante der erfindungsgemäßen Medianfilterung ist durch das Flussdiagramm aus Figur 3 angegeben.
Hierbei werden in Schritt 411 wiederum alle neun durch die Filtermaske 110 (Figur 4a) abgedeckten Helligkeitswerte in der Nachbarschaft des zu berechnenden Bildpunkts I(x_0, y_0) aus dem Kamerabild I extrahiert und in Schritt 412 im Sinne der Medianfilterung wie bereits vorstehend beschrieben sortiert.
Anschließend wird wie bereits beschrieben der entsprechende Mittelwert „124" bestimmt, und der alte Bildpunktwert „150" wird durch den so bestimmten, gefilterten Bildpunktwert „124" ersetzt. Danach wird gemäß Figur 3 in Schritt 413 die Filtermaske 110 (Figur 4a) um eine Spalte nach rechts verschoben, das heißt, nunmehr befindet sich der direkt rechts von dem Bildpunkt I(x_0, y_0) befindliche Bildpunkt I(x_0+l, y_0) mit dem Helligkeitswert 125 im Zentrum der Filtermaske 110, wodurch sich die in Figur 4b gezeigte Situation ergibt.
Da bereits zur Medianfilterung des Bildpunkts I(x_0, y_0) , vgl. Figur 4a, sechs Helligkeitswerte {126, 150, 119, 127, 125, 133} des Kamerabilds I erfasst worden sind, die auch zur Medianfilterung des Helligkeitswerts I(x_0+l, y_0) betrachtet werden müssen, ist es besonders vorteilhaft, nach dem Verschieben der Filtermaske 110 nicht sämtliche bei der Filterung nach Figur 4a extrahierte Helligkeitswerte zu verwerfen, sondern die angesprochenen sechs Helligkeitswerte {126, 150, 119, 127, 125, 133} auch zur Filterung des nächsten Helligkeitswerts I(x_0+l, y_0) zu verwenden vgl. Schritt 414 aus Figur 3. Hierzu ist ebenfalls der alte Helligkeitswert „150" durch den neuen, mediangefilterten Helligkeitswert „124" zu ersetzen.
Um eine ordnungsgemäße Medianfilterung des Helligkeitswerts I(x_0+l, y_0) mit dem Wert „125" zu gewährleisten, werden aus der zur vorhergehenden Medianfilterung gebildeten sortierten Liste {115, 119, 120, 123, 124, 125, 126, 127, 150} also lediglich die drei in Figur 4a in der linken Spalte der Filtermaske 110 angeordneten Helligkeitswerte {124, 120, 115} verworfen, um nunmehr drei am rechten Rand der verschobenen Filtermaske 110 (Figur 4b) angeordnete Helligkeitswerte {135, 134, 133} in die Liste aufnehmen zu können.
Diese Helligkeitswerte werden der in der vorgegebenen Sortierreihenfolge im Sinne der Medianfilterung in die sortierte, bislang sechs Helligkeitswerte {119, 124, 126, 125, 127, 133} umfassende Liste eingefügt, wodurch eine neue sortierte Liste {119, 124, 126, 125, 127, 133, 133, 134, 135} entsteht. Ingesamt ist der Aufwand zur Erstellung der neuen sortierten Liste {119, 124, 126, 125, 127, 133, 133, 134, 135} demgemäß geringer als die Bildung einer sortierten Liste ohne Berücksichtigung der sechs bereits vorsortierten Helligkeitswerte aus einem vorhergehenden Filterungsschritt eines benachbarten Helligkeitswerts.
Diese Verfahrensvariante stellt demnach eine weitere zweckmäßige Optimierung des erfindungsgemäßen Verfahrens dar und fördert damit die Ausführbarkeit des Verfahrens auch auf Recheneinheiten 220 mit eingeschränkter Rechenleistung.
Insgesamt ist durch die erfindungsgemäße Vorrichtung 200 bzw. das erfindungemäße Verfahren eine effiziente merkmalsbasierte
Bewegungsbestimmung möglich, die aufgrund der erfindungsgemäßen Optimierungen auch in den in Steuergeräten eines Kraftfahrzeugs angeordneten Recheneinheiten 220 ausführbar ist.
Die Größe der verwendeten Filtermaske 110 (Figur 4a) kann je nach zur Verfügung stehender Rechenleistung bspw. auch erhöht werden, wobei der Aufwand zur Erstellung der sortierten Liste im Rahmen der Medianfilterung quadratisch mit der in Helligkeitswerten bzw. Bildelementen ausgedrückten Kantenlänge der Filtermaske 110 wächst.
Bei einer weiteren sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens werden die für die Bewegungsbestimmung zu verwendenden Merkmale, bei denen es sich vorzugsweise um Punkte handelt, in Abhängigkeit von Betriebsgrößen des Kraftfahrzeugs, insbesondere in Abhängigkeit einer Geschwindigkeit und/oder Lenkwinkels ausgewählt. Aus diesen Betriebsgrößen des Kraftfahrzeugs kann bspw. ein Fahrschlauch berechnet werden, der eine voraussichtliche zukünftige Position des Kraftfahrzeugs angibt, auf deren Basis bspw. nur noch bestimmte Ausschnitte der Kamerabilder I, J und nicht mehr die gesamten Kamerabilder I , J zu betrachten sind, wodurch sich der Rechenaufwand zur Durchführung des erfindungsgemäßen Verfahrens erheblich verringert. Die zu betrachtenden Ausschnitte der Kamerabilder I, J werden durch den in der o.g. Gleichung angegebenen Integrationsbereich W repräsentiert .
Des weiteren können z.B. eine Umgebungshelligkeit oder auch eine Außentemperatur berücksichtigt werden, insbesondere bei zusätzlichen Schritten der Bildverarbeitung, bei denen die Kamerabilder I, J bspw. zur Verbesserung eines Kontrasts konditioniert werden oder dergleichen.

Claims

Patentansprüche
Verfahren zur merkmalsbasierten Bewegungsbestimmung anhand von mehreren, vorzugsweise zeitlich aufeinanderfolgenden, Kamerabildern (I, J) unter Verwendung des Kanade-Lucas-Tomasi Verfahrens, dadurch gekennzeichnet, dass mindestens ein Kamerabild (I, J) einer Filterung durch einen Rangordnungsfilter unterzogen wird.
Verfahren nach Anspruch 1, bei dem ein
Verschiebungsvektor (d) zwischen zwei Kamerabildern (I, J) in Abhängigkeit eines vorgebbaren Abweichungsmaßes (ε) ermittelt wird, wobei für das
Abweichungsmaß (ε) gilt: ε = dx ,
Figure imgf000018_0001
wobei x einen Punkt des jeweiligen Kamerabilds (I, J) repräsentiert, wobei W einen Bereich des jeweiligen Kamerabilds (I, J) repräsentiert, über den integriert wird, und wobei w(χ) eine Gewichtungsfunktion repräsentiert .
3. Verfahren nach Anspruch 2, wobei die Gewichtungsfunktion ( vφc) ) durch einen Rangordnungsfilter realisiert ist.
4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass als Rangordnungsfilter ein Medianfilter verwendet wird.
5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerabilder (I, J) von einem Kamerasystem (100) eines Kraftfahrzeugs erhalten werden, und dass das Verfahren zur Bewegungsbestiπunung in einem Steuergerät (200) des Kraftfahrzeugs durchgeführt wird.
6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerabilder (I, J) Farbbilder sind, wobei jedes Kamerabild (I, J) vorzugsweise drei Farbkanäle aufweist.
7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerabilder (I, J), vorzugsweise vor der Filterung durch den Rangordnungsfilter und/oder vor der Bewegungsbestimmung, rechnerisch entzerrt werden.
8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass für die Bewegungsbestimmung zu verwendende Merkmale in Abhängigkeit von Betriebsgrößen des Kraftfahrzeugs, insbesondere in Abhängigkeit einer Geschwindigkeit und/oder eines Lenkwinkels, oder in Abhängigkeit von sonstigen Parametern wie z.B. einer Umgebungshelligkeit und/oder einer Außentemperatur, ausgewählt werden.
9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass einzelne Punkte der Kamerabilder (I, J) als Merkmale für die Bewegungsbestimmung verwendet werden.
10.Vorrichtung (200) zur merkmalsbasierten
Bewegungsbestimmung anhand von mehreren, vorzugsweise zeitlich aufeinanderfolgenden, Kamerabildern (I, J) eines Kamerasystems (100) eines Kraftfahrzeugs, unter Verwendung des Kanade-Lucas-Tomasi Verfahrens, dadurch gekennzeichnet, dass die Vorrichtung (200) Filtermittel (210) zur Filterung mindestens eines Kamerabilds (I, J) mit einem Rangordnungsfilter aufweist.
11.Vorrichtung (200) nach Anspruch 10, dadurch gekennzeichnet, dass die Vorrichtung (200) als Steuergerät (200) eines Kraftfahrzeugs ausgebildet oder in ein bestehendes Steuergerät eines Kraftfahrzeugs integriert ist.
12.Vorrichtung (200) nach Anspruch 11, dadurch gekennzeichnet, dass eine Busanbindung an einen Datenbus des Kraftfahrzeugs vorgesehen ist.
13.Vorrichtung (200) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Vorrichtung (200) eine insbesondere als Mikroprozessor oder digitaler Signalprozessor, DSP, oder als anwendungsspezifische integrierte Schaltung, ASIC, ausgebildete Recheneinheit (220) aufweist.
14.Vorrichtung (200) nach Anspruch 13, dadurch gekennzeichnet, dass die Filtermittel (210) in der Recheneinheit (220) integriert und/oder durch die Recheneinheit (220) realisiert sind.
15.Vorrichtung (200) nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass die Vorrichtung (200) zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 9 geeignet ist.
PCT/EP2006/006889 2005-08-18 2006-07-14 Verfahren und vorrichtung zur merkmalsbasierten bewegungsbestimmung Ceased WO2007019920A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005039007A DE102005039007A1 (de) 2005-08-18 2005-08-18 Verfahren und Vorrichtung zur merkmalsbasierten Bewegungsbestimmung
DE102005039007.2 2005-08-18

Publications (1)

Publication Number Publication Date
WO2007019920A1 true WO2007019920A1 (de) 2007-02-22

Family

ID=36952974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/006889 Ceased WO2007019920A1 (de) 2005-08-18 2006-07-14 Verfahren und vorrichtung zur merkmalsbasierten bewegungsbestimmung

Country Status (2)

Country Link
DE (1) DE102005039007A1 (de)
WO (1) WO2007019920A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881615B (zh) * 2010-05-28 2012-07-11 清华大学 用于驾驶安全的视觉障碍物检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEMIR G K ET AL: "Motion estimation with cooperatively working multiple robots", INTELLIGENT ROBOTS AND SYSTEMS, 2004. (IROS 2004). PROCEEDINGS. 2004 IEEE/RSJ INTERNATIONAL CONFERENCE ON SENDAI, JAPAN 28 SEPT.-2 OCT., 2004, PISCATAWAY, NJ, USA,IEEE, vol. 2, 28 September 2004 (2004-09-28), pages 1556 - 1561, XP010765880, ISBN: 0-7803-8463-6 *
DINESH NAIR ET AL: "Moving Obstacle Detection From a Navigating Robot", IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, IEEE INC, NEW YORK, US, vol. 14, no. 3, June 1998 (1998-06-01), XP011053299, ISSN: 1042-296X *
NICOLAOS B KARAYIANNIS ET AL: "Extraction of Motion Strength and Motor Activity Signals From Video Recordings of Neonatal Seizures", IEEE TRANSACTIONS ON MEDICAL IMAGING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 20, no. 9, September 2001 (2001-09-01), XP011036138, ISSN: 0278-0062 *
T. RABIE, B. ABDULHAI, A. SHALABY, A. EL-RABBANY: "Mobile Active-Vision Traffic Surveillance System for Urban Networks", COMPUTER-AIDED CIVIL AND INFRASTRUCTURE ENGINEERING, vol. 20, no. 4, July 2005 (2005-07-01), Blackwell Synergy, pages 231 - 241, XP002399059, Retrieved from the Internet <URL:www.blackwell-synergy.com/doi/pdf/10.1111/j.1467-8667.2005.00390> [retrieved on 20060914] *

Also Published As

Publication number Publication date
DE102005039007A1 (de) 2007-02-22

Similar Documents

Publication Publication Date Title
EP3029929B1 (de) Sichtsystem
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE102018130821A1 (de) Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt
DE102012001835A1 (de) Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102018100211A1 (de) Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
DE102007040070A1 (de) Bilddichteumwandlungsverfahren, Bildverbesserungsverarbeitungseinrichtung und dafür geeignetes Programm
EP3556091B1 (de) Vorrichtung und verfahren zum fusionieren von bilddaten von einem multikamerasystem für ein kraftfahrzeug
DE69507463T2 (de) Vorrichtung und verfahren zur verkehrsüberwachung
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
DE102006023611A1 (de) Verfahren und Vorrichtung zur pixelsynchronen Bildauswertung eines kamerabasierten Systems
DE102019129029A1 (de) System und verfahren zur objektdetektion
DE102022202827A1 (de) Verfahren zum Bestimmen einer Orientierung einer Kamera
DE102019106297A1 (de) Fahrzeugumgebungsanzeigesystem und Anzeigesteuervorrichtung
EP3797053B1 (de) Verfahren und vorrichtung zum anzeigen einer fahrzeugumgebung
DE102020211896A1 (de) Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Surroundview-System zur Erzeugung eines Bildes einer Fahrzeugumgebung
DE102005039007A1 (de) Verfahren und Vorrichtung zur merkmalsbasierten Bewegungsbestimmung
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
DE102022126904A1 (de) Nachbarfahrspurdetektion auf der Basis von Fahrspurmodellen
DE102010018142A1 (de) Verfahren zur Aufnahme eines Bildes
DE102015112389A1 (de) Verfahren zum Erfassen zumindest eines Objekts auf einer Straße in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
EP4571631A1 (de) Verfahren zur anwendung einer methode zur erhöhung einer auflösung eines bildes einer wärmebildkamera
DE102024003657A1 (de) Verfahren zur Korrektur einer Dekalibrierung eines Kamerasystems eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
EP0195281B1 (de) Schaltungsanordnung für die Bildverarbeitung
DE102020130646B4 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung einer Änderung eines Radlenkwinkels bei einem Kraftfahrzeug
DE102019135190B4 (de) Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera eines Pritschenfahrzeugs auf Basis eines Maskenvergleichs, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Kamerasystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06762580

Country of ref document: EP

Kind code of ref document: A1