WO2002093931A2 - Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern - Google Patents

Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern Download PDF

Info

Publication number
WO2002093931A2
WO2002093931A2 PCT/DE2002/001585 DE0201585W WO02093931A2 WO 2002093931 A2 WO2002093931 A2 WO 2002093931A2 DE 0201585 W DE0201585 W DE 0201585W WO 02093931 A2 WO02093931 A2 WO 02093931A2
Authority
WO
WIPO (PCT)
Prior art keywords
contour
image
determined
movement
pixel
Prior art date
Application number
PCT/DE2002/001585
Other languages
English (en)
French (fr)
Other versions
WO2002093931A3 (de
Inventor
Axel Techmer
Original Assignee
Infineon Technologies Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies Ag filed Critical Infineon Technologies Ag
Priority to EP02740306A priority Critical patent/EP1396153A2/de
Priority to US10/476,690 priority patent/US20050008073A1/en
Publication of WO2002093931A2 publication Critical patent/WO2002093931A2/de
Publication of WO2002093931A3 publication Critical patent/WO2002093931A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Definitions

  • the invention relates to a method and a device for determining movement in at least two temporally successive digital images, a computer-readable storage medium and a computer program element.
  • the determination of movement in temporally successive images is essential information for determining the content of digital images.
  • motion estimation is essential information for determining the content of digital images.
  • the determination of the movement of perceived objects is carried out as an early processing step in human sensory perception.
  • the limitation to individual pixels when determining the image movement means that only a small field of pixels with coding information associated with the pixels is taken into account when determining the movement, the individual pixels being sparsely distributed over the entire image.
  • Coding information is further understood to mean brightness information (uminance information) and / or color information (chrominance information), which is / are each assigned to one or more pixels.
  • the selected pixels which are taken into account in the course of the movement determination in temporally successive digital images, are defined via gray value corners, that is to say via pixels which are located in a corner region of abrupt transitions in the uminance values assigned to the respective pixels.
  • gray-scale corners are not necessarily object-specific. This is especially true at the object boundaries, because at the object boundaries the gray value corners are determined by the gray value course of the background and object.
  • the background does not have to be uniform in the image, the temporal assignment of the gray value corners leads to incorrect movement information.
  • [4] and [5] describe methods for determining a contour with contour picture elements in a digital picture with picture elements to which coding information is assigned.
  • a distance transformation is also known in [6] as a morphological operation for determining minimum distances from points of a considered local environment to a contour with contour image points. [7] and [8] describe two alternative implementations of the distance transformation from [6].
  • [10] also describes a method for segmenting an image sequence, in which contour information is determined from segmentation information of objects which have already been segmented. A calculation of
  • Movement information is based on the object-related contour information.
  • the method described in [11] for determining the movement of objects in a sequence of digitized images uses a statistical model with two components, a static component (for describing the background) and a moving component (for describing moving objects) ,
  • the invention is based on the problem of a simplified and therefore faster and less expensive determination of the Specify motion in a sequence of images that follow one another in time.
  • pixels are present in the digital images, each of which is assigned coding information.
  • coding information at least one contour with a multiplicity of contour image points located on the contour is determined in a first image.
  • the contour image points located on the determined contour of the first image the movement is determined with respect to a reference contour contained in a second image with reference contour image points.
  • a device for determining the movement in at least two chronologically successive digital images has a processor which is set up in such a way that the method steps described above can be carried out.
  • a program is stored on a computer-readable storage medium, which, after it has been loaded into a memory of the computer, enables a computer to carry out the method steps described above for determining the movement in at least two digital images which follow one another in time.
  • a computer program element has the method steps described above after it has been stored in a memory of the
  • Computer has been loaded and run from the computer is used to determine the movement in at least two temporally successive digital images.
  • the determination of the movement is determined on the basis of the determined contour, that is to say extracted from a digital image, in a digital image with respect to a reference contour in a temporally preceding or temporally following image.
  • the contour information is determined directly from the coding information assigned to the pixels.
  • a contiguous term is used to denote a coherent, that is to say a sequence of contour image points that are spatially adjacent in an image.
  • pixels are contiguous and therefore form a contour if they are arranged directly adjacent to one another on the image grid, that is to say in the digital image.
  • Motion detection in a sequence of digital images allows the determined movement information to be stabilized over time and also the determination and detection of even small movements in the sequence of digital images that follow one another in time. This is made possible in particular by the fact that by means of the determination of the contours and the consideration of the contours in the movement determination, a temporal integration is usually carried out over the clearly defined area explained below, which is caused by the displacement of contours in temporally successive digital images between the two considered contours is formed.
  • real time is not a clearly defined concept of performance.
  • real time is understood to mean a processing time that is essentially less than 40 ms.
  • a time interval of 40 ms corresponds to the time offset of two digital single images of an analog video sequence.
  • At least one reference contour with a plurality of reference contour pixels located on the contour is determined using the coding information in the second image.
  • the movement can be determined both from a previous image and from a time following image can be carried out, i.e. both a movement prediction and a movement determination can be carried out in retrospective consideration.
  • the second image as a reference image with the reference contour can be the temporally preceding or also temporally following image compared to the first image with the extracted contour taken into account in the image movement.
  • a minimum distance image can be determined for the reference contour and the reference contour image points located on the reference contour by means of a morphological operation, that is to say clearly a field of values with which a minimum Distance of a pixel in the minimum distance image to a reference contour pixel is specified.
  • a distance transformation can be used as a morphological operation, and it has been found that the distance transformation described in [6] is particularly suitable and leads to very good results.
  • Pixel [x, y] and a reference contour pixel on the reference contour in the second image • [x, y] a pixel in the distance image, V 1 (l, t) a reference contour pixel in the second image,
  • contour direction that is to say the direction in which the change in contrast runs along a contour.
  • the invention is particularly suitable for use in the field of the detection of moving objects in a scenario in which it is important to distinguish a large number of moving objects from one another and from non-moving objects.
  • a very suitable area of application is, in particular, traffic monitoring or the determination of the movement in scenes which are recorded by a digital camera installed in a moving vehicle.
  • FIG. 1 is a block diagram in which the individual
  • FIG. 2 shows a flow chart in which the method steps for determining the image movement according to an exemplary embodiment of the invention are shown in detail;
  • Figure 3 is an illustration of a distance image with a
  • Reference contour with contour lines assigned to the reference contour, and with a contour
  • Figures 4a to 4c results of the contour-based motion determination according to the invention for different scenes.
  • a digital camera is installed on a vehicle and records a recording area in the direction of travel of the moving vehicle.
  • a sequence of digital images is thus generated by means of the digital camera, each digital image being assigned a multiplicity of picture elements and the picture elements
  • Coding information according to this embodiment, the brightness values assigned to the pixels.
  • contour extraction is carried out for each digital image, hereinafter referred to as first digital image according to this exemplary embodiment, with the brightness values l (x, y, t).
  • contours are determined for the first image (block 101 in block diagram 100 in FIG. 1). This is done by detecting edges in the digital image. Edges mark jumps in contrast in the course of the brightness information in the digital image.
  • contours contiguous chains of contour points, that is to say as contiguous edges, that is to say as a coherent sequence of locally directly adjacent contour points, are referred to as contours.
  • the contour extraction is carried out using the method described in [4], alternatively the method described in [5].
  • FIG. 2 shows the step of contour extraction 101 for a digital image 201 in detail in a flow chart 200.
  • Gradient filtering (step 202) and then gradient-based line thinning (step 203) is carried out for the digital image 201 according to the flow diagram 200 shown in FIG.
  • determined edge image points e (x, y, t) of determined lines in the digital image 201 are linked to one another and a contour, in general a plurality of N contours in each digital image 201 is determined (step 205 ).
  • the contour is assigned in a further step (step 102 in FIG. 1).
  • a corresponding point in a reference contour in a temporally preceding digital image that is to say a reference contour image point, is determined for each determined contour point of a contour v (t).
  • the reference contour pixel is located on a reference contour in the previous image, v (t - l) thus designates the contour structure determined in the previous time step.
  • each contour pixel of the contour is expressed via a displacement vector, also called a translation vector.
  • the assumption is used that the change in contours over time is approximately described by a translation.
  • the shift is optimal when the sum of the minimum distances between points of the contour environment under consideration and reference contour image points of the reference contour v M (t - l) becomes minimal.
  • a morphological operation according to this exemplary embodiment the distance transformation described in [6], is used to determine the minimum distances.
  • FIG. 3 shows the principle of assignment for two contours that follow one another in time, that is to say for contours from two images that follow one another in time, for each of which a movement determination is carried out.
  • 3 shows a distance image 300 with a reference contour 301, as well as with contour lines 302, which are formed by means of the distance transformation described in [6] become.
  • Contour lines are further understood to mean those lines in the distance image which have a constant minimum distance from the reference contour, ie from a reference contour image point on the reference contour.
  • the distance transformation is carried out for each reference contour that is taken into account when determining the movement.
  • the minimum distance image 300 is shifted for motion detection with respect to a contour 303 for which the motion is to be determined.
  • the minimum distance to the reference contour v '(l, t - l) can be determined at each contour point using the
  • Contour line 302 can be specified.
  • This principle of contour assignment has the advantage over a direct comparison of contours that errors in contour detection have less influence on the quality of motion detection. This is particularly important when contours are incomplete or interrupted in their course.
  • the contour assignment 102 is explained in more detail below.
  • the that is, in the block of the contour assignment 102 the actual movement along the contours is calculated.
  • the image representation is furthermore converted into a data structure which enables direct access to contours as a chain of contour points.
  • contour index n is a natural number in the range between 1 and N, where N denotes the number of contours contained in the data structure.
  • the temporal assignment of the contours follows in a further step.
  • an optimal assignment is determined for each contour point.
  • Y j _ (k) a contour pixel in the first image, • a contour pixel index for uniquely identifying a contour pixel in the first
  • the difference surface between two contours that is, between the contour v (k, t) and the reference contour v (l, t - l) is approximated by means of the sum of the minimum distances.
  • T j _ denotes an optimal translation
  • the minimum distances are determined very efficiently.
  • Any image value i.e. any minimum distance value
  • the distance image 300 contains the Information of the minimum distance, that is to say, the minimum distance value D V ⁇ L ") (X, y, t - l) of one
  • the distance transformation is applied to each reference contour point and the corresponding image point in the distance image D v ) (x, y, t - l) 300 in accordance with the following regulation:
  • V '(l) a reference contour pixel in the second image
  • regulation (1) can be converted into the following regulation:
  • the energies are determined by the contour, for which the determination is to be determined taking into account the reference contour, via the distance image 300, that is to say via the function, that is to say the minimum distance values D v (i) ( x 'Y / t - l) n is shifted from the distance image 300 and for each shift, that is to say translation, the distance values (distance values) are read from the distance image, that is to say ascertained and summed up.
  • the minimum distance is therefore only calculated once when the distance image 300 is generated.
  • Contour point in the operator image that is, pointing to a reference contour image point. Otherwise the respective energy value is set to a maximum, predetermined value (MAX_VALUE).
  • a new, stabilized movement is calculated for the individual contour pixels (step 207).
  • T L (t) denotes the L-past translations that are known about the process reference-contour image points.
  • the new movement is then determined, for example, by averaging. In other words, there is a time feedback when determining the respective translations.
  • the following process steps are carried out for averaging.
  • the first step is the mean shift
  • ⁇ j (t) [r i # ⁇ ? (t - l), ..., ⁇ j "2 (t - l) j. (7)
  • the movement can be determined by recursively filtering the determined translation vectors in accordance with the following rule:
  • ⁇ _i (t) m i (t - l) + ⁇ • ( ⁇ t - l) - ⁇ ⁇ ).
  • the contour is transferred into the distance image, so that the value at each pixel in the distance image corresponds to the minimum distance to a contour pixel according to the following rule:
  • the distance transformation can be implemented in accordance with the methods described in [7] and [8].
  • the representation is used in particular to illustrate the numerical effort involved in implementing the method described above.
  • the calculation of the distance values is therefore a relatively numerically complex operation.
  • a local mask is iteratively pushed over the distance image.
  • the new distance value in the distance image to the reference contour is calculated according to the following rule:
  • D (x, y) denotes the inverted distance image.
  • Contour pixels the image value that corresponds to the distance value with the value "0" and all remaining image values have a constant value larger than the maximum distance to be expected.
  • the local mask is denoted by mask (u, v).
  • Mask values correspond to the local distance values of the pixels at the respective mask positions to the mask center.
  • the optimal local distance values are determined for different mask sizes, so that the resulting distance values deviate as little as possible from the true Euclidean distance.
  • the temporally feedback motion determination 103 takes place, which is the result of the Contour assignment used over several images in succession.
  • the contour assignment 102 is used to stabilize the movement of the contours over time.
  • a motion vector is specified for each contour pixel.
  • M (k, t) denotes the set of all motion vectors at each contour pixel at a time t.
  • the object contours from the entry of an object into a monitored, that is to say a recording area recorded by a digital camera, up to its area
  • the dwell times of vehicles in the recording area can be determined directly for an automatic acquisition of traffic data and, for example, in the traffic jam forecast or also in the context of collision avoidance of
  • contour assignment is initially based only on the evaluation of the distance values and thus on the shape of the contour itself.
  • contour direction is added to the contour shape, namely the contour direction, by means of which it is specified in which direction the contrast jump takes place in the respective contour.
  • the contour direction is automatically determined with the contour generation. With a white lane marking, the gray value changes from dark to light and back to dark again. The left and right edges of the respective contour then run parallel, but their contour direction is opposite.
  • the invention clearly shows a very advantageous compromise between data reduction and preservation of the essential image information in a sequence of digital images.
  • the invention provides a correlation-based one based on the use of contours for motion detection Approach that is considerably more robust than the known pixel-based methods, particularly with regard to segmentation errors.

Abstract

Unter Verwendung der Codierungsinformation wird in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt und unter Verwendung der Kontur-Bildpunkte wird eine Bewegungsermittlung durchgeführt bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz-Kontur-Bildpunkten.

Description

Beschreibung
Verfahren und Vorrichtung zum Ermitteln von Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, Computerlesbares Speichermedium und Computerprogramm-Element
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung von Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, ein Computerlesbares Speichermedium sowie ein Computerprogramm-Element .
Im Rahmen der digitalen Bildverarbeitung ist die Ermittlung von Bewegung in zeitlich aufeinander folgenden Bildern, üblicherweise auch als Bewegungsschätzung bezeichnet, eine wesentliche Information zum Ermitteln des Inhalts von digitalen Bildern. So wird beispielsweise auch im visuellen System eines Menschen die Bestimmung der Bewegung von wahrgenommenen Objekten als ein früher Verarbeitungsschritt in der menschlichen Sinneswahrnehmung ausgeführt.
In der digitalen Bildverarbeitung ist jedoch die Bestimmung de Bildbewegung ein sehr reehenintensiver und somit kostenintensiver Prozess.
Insbesondere um eine Ermittlung der Bildbewegung in Echtzeit durchführen zu können und damit die Anwendung von Bildverarbeitungsverfahren in Echtzeitanwendungen verlässlich gewährleisten zu können, müssen gemäß dem Stand der Technik aufgrund der Komplexität der bekannten Verfahren sehr kostenintensive Hardwareelemente eingesetzt werden, beispielsweise spezielle Grafikprozessoren oder Grafikkarten (vor allem auch Bildverarbeitungskarten) . Alternativ ist es bekannt, die Bestimmung der Bildbewegung lediglich anhand einiger weniger Bildpunkte in dem digitalen Bild durchzuführen, um somit die entsprechende Rechenzeit einzusparen. Auf den oben genannten Prinzipien beruhende Verfahren zur Ermittlung der Bildbewegung in einer zeitlichen Folge digitaler Bilder sind in [1], [2] und [3] beschrieben.
Der Einsatz kostenintensiver Hardware ist jedoch sehr nachteilig und ferner nur in bestimmten Anwendungen überhaupt möglich.
Ferner führt die Beschränkung auf einzelne Bildpunkte bei der Ermittlung der Bildbewegung dazu, dass lediglich ein kleines Feld von Bildpunkten mit den Bildpunkten zugeordneten Codierungsinformationen bei der Bewegungsermittlung berücksichtigt werden, wobei die einzelnen Bildpunkte spärlich über das gesamte Bild verteilt sind.
Unter Codierungsinformation ist im Weiteren eine Helligkeitsinformation ( uminanzinformation) und/oder eine Farbinformation (Chrominanzinformation) zu verstehen, die jeweils einem oder mehreren Bildpunkten zugeordnet ist/sind.
Diese geringe berücksichtigte Informationsmenge macht jedoch die an-s-ehliefrende Auswertung der Bildinformation schwierig und fehlerbehaftet, beispielsweise wenn es darum geht, ein Fahrzeug als ein zusammenhängendes Objekt anhand der
BewegungsInformation in einer Folge digitaler Bilder zu ermitteln und dessen Bewegung über mehrere digitale Bilder hinweg zu beschreiben.
Üblicherweise werden die ausgewählten Bildpunkte, die im Rahmen der Bewegungsermittlung in zeitlich aufeinander folgenden digitalen Bildern berücksichtigt werden, über Grauwertecken definiert, das heißt über Bildpunkte, die sich in einem Eckbereich von sprunghaften Übergängen in den den jeweiligen Bildpunkten zugeordneten uminanzwerten befinden. Diese Grauwertecken sind jedoch nicht notwendigerweise objektspezifisch. Dies gilt vor allen an den Objektgrenzen, da an den Objektgrenzen die Grauwertecken durch den Grauwertverlauf von Hintergrund und Objekt bestimmt werden. Da der Hintergrund jedoch nicht gleichförmig im Bild sein muss, führt in diesem Fall die zeitliche Zuordnung der Grauwertecken zu falschen Bewegungsinformationen.
In [4] und [5] sind Verfahren zur Ermittlung einer Kontur mit Kontur-Bildpunkten in einem digitalen Bild mit Bildpunkten, denen Codierungsinformation zugeordnet ist, beschrieben.
In [6] ist ferner eine Distanztransformation als morphologische Operation zur Bestimmung minimaler Abstände von Punkten einer betrachteten örtlichen Umgebung zu einer Kontur mit Kontur-Bildpunkten bekannt. In [7] und [8] sind zwei alternative Implementierungen der Distanztransformation aus [6] beschrieben.
Weiterhin ist es aus [9] bekannt, dass es möglich ist, lediglich aus einer Konturrepräsentation eines digitalen Bildes das gesamte digitale Bild wieder zu rekonstruieren.
Ferner ist in [10] ein Verfahren zum Segmentieren einer Bildfolge beschrieben, bei dem Konturinformation aus Segmentierungsinformationen von schon zuvor segmentierten Objekten ermittelt wird. Eine Berechnung von
Bewegungsinformation erfolgt auf der Grundlage der Objekt- bezogenen Konturinformation.
Bei dem in [11] beschriebenen Verfahren zur Ermittlung der Bewegung von Objekten in einer Folge digitalisierter Bilder wird ein statistisches Modell mit zwei Komponenten verwendet, einer Statik-Komponente (zum Beschreiben des Hintergrunds) und einer Bewegt -Komponente (zum Beschreiben von bewegten Objekten) .
Der Erfindung liegt das Problem zugrunde, eine vereinfachte und somit schnellere und kostengünstigere Ermittlung der Bewegung in einer Folge zeitlich aufeinander folgender Bilder anzugeben.
Das Problem wird durch das Verfahren und die Vorrichtung zur Ermittlung der Bewegung in mindestes zwei zeitlich aufeinander folgenden digitalen Bildern, das Computerlesbare Speichermedium und das Computerprogramm-Element mit den Merkmalen gemäß den unabhängigen Patentansprüchen gelöst.
Bei einem Verfahren zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden Bildern sind in den digitalen Bildern Bildpunkte vorhanden, denen jeweils Codierungsinformation zugeordnet ist . Unter Verwendung der Codierungsinformationen wird in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt. Unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkten wird eine Ermittlung der Bewegung bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz-Kontur-Bildpunkten durchgeführt.
Eine Vorrichtung zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden dig-italen Bildern weist einen Prozessor auf, der derart eingerichtet ist, dass die oben beschriebenen Verfahrensschritte durchführbar sind.
Auf einem computerlesbaren Speichermedium ist ein Programm gespeichert, das es einem Computer ermöglicht, nachdem es in einen Speicher des Computers geladen worden ist, die oben beschriebenen Verfahrensschritte durchzuführen zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern.
Ein Computerprogramm-Element weist die oben beschriebenen Verfahrensschritte auf, nachdem es in einem Speicher des
Computer geladen worden ist und von dem Computer ausgeführt wird zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern.
Anschaulich kann die Erfindung darin gesehen werden, dass die Ermittlung der Bewegung anhand der ermittelten, das heißt aus einem digitalen Bild extrahierten, Kontur in einem digitalen Bild bestimmt wird bezüglich einer Referenzkontur in einem zeitlich vorangegangenen oder zeitlich nachfolgenden Bild. Die Konturinformation wird erfindungsgemäß direkt aus der den Bildpunkten zugeordneten Codierungsinformation ermittelt.
Im Weiteren wird unter einer Kontur eine zusammenhängende, das heißt eine Folge von in einem Bild örtlich benachbarter Kontur-Bildpunkten bezeichnet. Anders ausgedrückt sind Bildpunkte zusammenhängend und bilden somit eine Kontur, wenn sie auf dem Bildraster, das heißt in dem digitalen Bild, unmittelbar benachbart zueinander angeordnet sind.
Die Verwendung der ermittelten Konturen und der sich darin befindenden Kontur-Bildpunkte im Rahmen der
Bewegungsermittlung in einer Folge digitaler Bilder erlaubt eine zeitliche Stabilisierung der ermittelten Bewegungsinformation und außerdem auch die Ermittlung und Erfassung selbst kleiner Bewegungen in der Folge zeitlich aufeinander folgender digitaler Bilder. Dies wird insbesondere dadurch ermöglicht, dass mittels der Ermittlung der Konturen und der Berücksichtigung der Konturen in der Bewegungsermittlung üblicherweise eine zeitliche Integration über die im Weiteren erläuterte anschaulich definierte Fläche durchgeführt wird, die durch die Verschiebung von Konturen in zeitlich aufeinander folgenden digitalen Bildern zwischen den beiden berücksichtigten Konturen gebildet wird.
Dies ist insbesondere vorteilhaft für die Bewegungsbestimmung im Fernfeld einer Videosequenz, das heißt insbesondere im Bildhintergrund einer Folge digitaler Bilder. Aufgrund der Perspektive liegen Bewegungen im Fernfeld einer Videosequenz, das heißt Bewegungen zwischen zwei aufeinander folgenden digitalen Bildern, üblicherweise unterhalb der Bildauflösung und können somit mit den üblicherweise durchgeführten Verfahren häufig gar nicht erst ermittelt werden.
Weiterhin führt die sehr gezielte Auswahl von im Rahmen der Bewegungsermittlung berücksichtigten Bildpunkten, nämlich die Berücksichtigung von zuvor in einem ersten Extraktionsschritt ermittelten Kontu -Bildpunkten, dazu, dass eine Ermittlung der Bewegung selbst in Echzeitanwendungen bei Einsatz üblicher Personal Computer ohne zusätzliche aufwendige Spezial-Hardware ermöglicht wird.
In diesem Zusammenhang ist anzumerken, dass Echtzeit kein eindeutig definierter Leistungsbegriff ist. Im Weiteren wird unter Echtzeit eine Verarbeitungszeit verstanden, die im Wesentlich kleiner als 40 ms beträgt. Ein Zeitintervall von 40 ms entspricht dem Zeitversatz zweier digitaler Einzelbilder einer analogen Videosequenz.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Die im Weiteren beschriebenen Ausgestaltungen der Erfindung gelten für das Verfahren, die Vorrichtung, das Computerprogramm-Element als auch für das computerlesbare Speichermedium.
Gemäß einer Ausgestaltung der Erfindung wird unter Verwendung der Codierungsinformation in dem zweiten Bild mindestens eine Referenzkontur mit einer Vielzahl von auf der Kontur sich befindenden Referenz-Kontur-Bildpunkten ermittelt.
Die Bewegungsermittlung kann sowohl ausgehend von einem zeitlich vorangegangenen Bild als auch von einem zeitlich nachfolgenden Bild durchgeführt werden, das heißt es kann sowohl eine Bewegungsprädiktion als auch eine Bewegungsermittlung in zeitlich rückschauender Betrachtung durchgeführt werden.
Anders ausgedrückt bedeutet dies, dass das zweite Bild als Referenzbild mit der Referenz-Kontur das gegenüber dem ersten Bild mit der extrahierten, bei der Bildbewegung berücksichtigten Kontur, zeitlich vorangegangene oder auch zeitlich nachfolgende Bild sein kann.
Bei der Ermittlung der Bildbewegung kann für die Referenz- Kontur und die sich auf der Referenz-Kontur befindenden Referenz-Kontur-Bildpunkten mittels einer morphologischen Operation ein Minimal-Abstandsbild ermittelt werden, das heißt anschaulich ein Feld von Werten, mit denen jeweils ein Minimal -Abstand eines Bildpunktes in dem Minimal-Abstandsbild zu einem Referenz-Kontur-Bildpunkt angegeben wird.
Als morphologische Operation kann eine Distanztransformation eingesetzt werden, wobei es sich herausgestellt hat, dass insbesondere die in [6] beschriebene Distanztransformation sehr geeignet ist und zu sehr guten Ergebnissen führt.
Ein Minimal -Abstandswert für einen Referenz -Kontur-Bildpunkt zu einem Zeitpunkt t zu einem Bildpunkt in einem Abstandsbild wird gemäß einer Ausgestaltung der Erfindung gemäß folgender Vorschrift ermittelt:
Dγ(ι)(x, y, t) = min [x, y]τ - v' (l, t)
wobei mit
• Dv(l)(x' Y' t) ein Minimal -Abstandswert zwischen dem
Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild, • [x, y] ein Bildpunkt in dem Abstandsbild, • v1 (l, t) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild,
• 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,
• t ein Zeitpunkt, zu dem die Ermittlung durchgeführt wird, bezeichnet wird.
Gemäß einer weiteren Ausgestaltung der Erfindung ist es vorteilhaft, zusätzlich die Konturrichtung, das heißt die Richtung, in welcher die Kontrastveränderung entlang einer Kontur verläuft, zu berücksichtigen.
Durch diese Ausgestaltung der Erfindung wird die
Verlässlichkeit der ermittelten Bewegung weiter erhöht.
Die Erfindung eignet sich insbesondere zum Einsatz im Bereich der Erfassung von bewegten Objekten in einem Szenario, in dem es gilt, eine Vielzahl von bewegten Objekten voneinander und von nicht bewegten Objekten zu unterscheiden.
Ein sehr geeignetes Einsatzgebiet ist insbesondere die Verkehrsüberwachung bzw. die Ermittlung der Bewegung in Szenen, die von einer in einem fahrenden Fahrzeug installierten digitalen Kamera aufgenommen werden.
Ein Ausführungsbeispiel der Erfindung ist in den Figuren dargestellt und wird im Weiteren näher erläutert.
Es zeigen
Figur 1 ein Blockdiagramm, in dem die einzelnen
Verfahrensschritte der Bestimmung der Bildbewegung gemäß einem Ausführungsbeispiel der Erfindung dargestellt sind; Figur 2 ein Ablaufdiagramm, in dem die Verfahrensschritte zur Ermittlung der Bildbewegung gemäß einem Ausführungsbeispiel der Erfindung im Detail dargestellt sind;
Figur 3 eine Darstellung eines Abstandsbildes mit einer
Referenz-Kontur, mit der Referenz-Kontur zugeordneten Höhenlinien, sowie mit einer Kontur;
Figuren 4a bis 4c Ergebnisse der erfindungsgemäßen konturbasierten Bewegungsbestimmung für unterschiedliche Szenen.
Gemäß dem Ausführungsbeispiel ist eine Digitalkamera an einem Fahrzeug installiert und nimmt in Fahrtrichtung des sich bewegenden Fahrzeuges einen Aufnahmebereich auf .
Es wird somit mittels der Digitalkamera eine Folge digitaler Bilder erzeugt, wobei jedes digitale Bild eine Vielzahl von Bildpunkten und den Bildpunkten zugeordneten
Codierungsinformationen, gemäß diesem Ausführungsbeispiel den Bildpunkten zugeordnete Helligkeitswerte, aufweist.
Ein Helligkeitswert, der einem Bildpunkt, gekennzeichnet durch zwei Koordinaten x und y zu einem Zeitpunkt t identifizierten digitalen Bild zugeordnet ist, wird mit l(x, y, t) bezeichnet (vgl. Fig.l).
Gemäß diesem Ausführungsbeispiel wird für jeweils ein digitales Bild, gemäß diesem Ausführungsbeispiel im Weiteren bezeichnet als erstes digitales Bild, mit den Helligkeitswerten l(x, y, t) eine Konturextraktion durchgeführt. Anders ausgedrückt werden für das erste Bild Konturen ermittelt (Block 101 in dem Blockdiagramm 100 in Fig.l). Dies erfolgt dadurch, dass Kanten in dem digitalen Bild detektiert werden. Kanten markieren Kontrastsprünge in dem Verlauf der Helligkeitsinformation in dem digitalen Bild.
Wie oben schon dargelegt, werden im Weiteren zusammenhängende Ketten von Konturpunkten, das heißt als zusammenhängende Kanten, das heißt als eine zusammenhängende Folge von örtlich unmittelbar benachbarten Konturpunkten als Konturen bezeichnet .
Gemäß diesem Ausführungsbeispiel der Erfindung wird zur Konturextraktion das in [4], alternativ dazu das in [5] beschriebene Verfahren, durchgeführt.
Fig.2 zeigt den Schritt der Konturextraktion 101 für ein digitales Bild 201 im Detail in einem Ablaufdiagramm 200.
Für das digitale Bild 201 wird gemäß dem in Fig.2 dargestellten Ablaufdiagramm 200 eine Gradientenfilterung (Schritt 202) und anschließend eine gradientenbasierte Linienverdünnung (Schritt 203) durchgeführt.
In einem weiteren Schritt werden ermittelte Kanten-Bildpunkte e(x,y,t) von ermittelten Linien in dem digitalen Bild 201 miteinander verknüpft und es wird eine Kontur, im allgemeinen Fall eine Vielzahl von N Konturen in jedem digitalen Bild 201 ermittelt (Schritt 205) .
Als Ergebnis der Konturextraktion 101 liegt somit gemäß diesem Ausführungsbeispiel der Erfindung eine Datenstruktur v (t) vor, in der die N extrahierten Konturen in dem berücksichtigten digitalen Bild 201 enthalten und gespeichert sind, auf die im Folgenden direkt zugegriffen werden kann.
In einem weiteren Schritt erfolgt die Konturzuordnung (Schritt 102 in Fig.l) . Im Rahmen der Konturzuordnung 102 wird für jeden ermittelten Konturpunkt einer Kontur v (t) ein korrespondierender Punkt in einer Referenz-Kontur in einem zeitlich vorangegangenen digitalen Bild, das heißt ein Referenz-Kontur-Bildpunkt, ermittelt. Der Referenz-Kontur-Bildpunkt befindet sich auf einer Referenzkontur in dem zeitlich vorangegangenen Bild, v (t - l) bezeichnet somit die in dem vorangegangenen Zeitschritt ermittelte Konturstruktur.
Allgemein wird die Korrespondenz für jeden Kontur-Bildpunkt der Kontur über einen Verschiebungsvektor, auch Translationsvektor genannt, ausgedrückt.
Für den Translationsvektor soll gelten, dass mittels des jeweiligen Translationsvektors die Konturumgebung möglichst gut auf Referenz-Kontur-Bildpunkte aus dem vorangegangenen digitalen Bild abgebildet werden können.
Es wird die Annahme verwendet, dass die zeitliche Veränderung von Konturen näherungsweise durch eine Translation beschrieben wird. Die Verschiebung ist dann optimal, wenn die Summe der minimalen Abstände zwischen Punkten der betrachteten Konturumgebung und Referenz-Kontur-Bildpunkten der Referenz-Kontur vM(t - l) minimal wird.
Zur Bestimmung der minimalen Abstände wird erfindungsgemäß eine morphologische Operation, gemäß diesem Ausführungsbeispiel die in [6] beschriebene Distanztransformation, eingesetzt .
Fig.3 zeigt zur weiteren Veranschaulichung das Prinzip der Zuordnung für zwei zeitlich aufeinander folgende Konturen, das heißt für Konturen aus zwei zeitlich aufeinander folgenden Bildern, für die jeweils eine Bewegungsbestimmung durchgeführt wird. Fig.3 zeigt ein Abstandsbild 300 mit einer Referenz-Kontur 301, sowie mit Höhenlinien 302, die mittels der in [6] beschriebenen Distanztransformation gebildet werden. Unter Höhenlinien werden im Weiteren diejenigen Linien in dem Abstandsbild verstanden, die einen konstanten minimalen Abstand zu der Referenz-Kontur, d.h. zu einem Referenz-Kontur-Bildpunkt auf der Referenz-Kontur aufweisen.
Die Distanztransformation wird für jede Referenz-Kontur, die im Rahmen der Bewegungsermittlung berücksichtigt wird, durchgeführt. Ergebnis der im Weiteren im Detail erläuterten Distanztransformation angewendet auf die Referenz-Kontur v' (l, t - l) ist in Fig.3 mittels der Höhenlinien 302 verdeutlicht .
Die Umgebung v^(k, t) eines Bildpunktes in dem mittels der
Distanztransformation gebildeten und in Fig.3 dargestellten Minimal-Abstandsbild 300 wird zur Bewegungsermittlung bezüglich einer Kontur 303, für welche die Bewegung ermittelt werden soll, verschoben.
Für jede dieser Verschiebungen kann an jedem Konturpunkt der minimale Abstand zu der Referenz-Kontur v' (l, t - l) anhand der
Höhenlinie 302 angegeben werden.
Die minimale Summe dieser ermittelten Abstände führt dann auf die optimale Verschiebung, näherungsweise auf die optimale Translation, in Fig.3 symbolisiert dargestellt mittels Translationsvektoren 304.
Dieses Prinzip der Konturzuordnung hat gegenüber einem direkten Vergleich von Konturen den Vorteil, dass Fehler bei der Konturdetektion einen geringeren Einfluss auf die Qualität der Bewegungsermittlung besitzen. Dies ist insbesondere dann von Bedeutung, wenn Konturen unvollständig oder in ihrem Verlauf unterbrochen sind.
Im Weiteren wird die Konturzuordnung 102 im Detail näher erläutert. In dem in Fig.2 dargestellten zweiten Block, das heißt der in dem Block der Konturzuordnung 102, wird die eigentliche Bewegung entlang der Konturen berechnet.
Um eine effiziente Verarbeitung der Konturen im Rahmen der digitalen Bildverarbeitung zu ermöglichen, wird im Weiteren die Bildrepräsentation in eine Datenstruktur überführt, die den direkten Zugriff auf Konturen als eine Kette von Konturpunkten ermöglicht.
Zur Konturrepräsentation wird somit jede Kontur mit vn(t) bezeichnet. Der Konturindex n ist eine natürliche Zahl im Bereich von zwischen 1 und N, wobei mit N die Anzahl der in der Datenstruktur enthaltenen Konturen bezeichnet wird.
Nach der Generierung der Konturstruktur folgt in einem weiteren Schritt die zeitliche Zuordnung der Konturen.
Im Rahmen der Konturzuordnung wird für jeden Konturpunkt eine optimale Zuordnung bestimmt.
Werden zwei zeitlich aufeinander folgende Konturen, das heißt eine Kontur in einem ersten Bild v(k, t) und eine Referenz- Kontur v(l, t - l) betrachtet, so wird das oben beschriebene Optimierungskriterium gemäß folgender Energieminimierung formuliert:
it
Efei) = min v'(l)- ( ^ + T 2 (1) k=ki0 1
wobei mit • i ein Translationsvektor- Index zur eindeutigen
Identifizierung eines Translationsvektors,
• Tj_ ein i-ter Translationsvektor,
• Yj_(k) ein Kontur-Bildpunkt in dem ersten Bild, • k ein Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Kontur-Bildpunkts in dem ersten
Bild,
• v1 (l) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, • 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen
Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,
• k-j_o ein erster Referenz-Kontur-Bildpunkt,
• *j_t ein zweiter Referenz-Kontur-Bildpunkt, und • Etjι) ein minimaler Energiewert, bezeichnet wird.
Gemäß Vorschrift (1) wird die Differenzfläche zwischen zwei Konturen, das heißt zwischen der Kontur v(k, t) und der Referenz-Kontur v(l, t - l) mittels der Summe der minimalen Abstände approximiert.
Die optimale Translation ergibt sich aus der minimalen Energie E(T.J_) ZU:
T.j_ = arg inE^), (2)
T,
wobei mit Tj_ eine optimale Translation bezeichnet wird.
Mit Hilfe der Distanztransformation, wie Sie im Weiteren näher erläutert wird, erfolgt die Bestimmung der minimalen Abstände sehr effizient.
Mittels der Distanztransformation, welche auf die Referenz- Kontur v(l, t - l) gemäß dem in [6] beschriebenen Verfahren angewendet wird, wird ein Minimal -Abstandsbild 300 mit Minimal -Abstandswerten Dv(_)(x, y, t - l) erzeugt, wie es in
Fig.3 beispielhaft dargestellt ist.
Jeder Bildwert, d.h. jeder Minimal -Abstandswert
Dv(l)(x< Y> fc ~ !) in dem Abstandsbild 300 enthält die Information des minimalen Abstandes, das heißt anders ausgedrückt den minimalen Abstandswert DVΛL")(X, y, t - l) eines
Bildpunkts in dem Minimal -Anstandsbild 300 zu einem Referenz- Kontur-Bildpunkt der Referenz-Kontur v(l, t - l) .
Die Distanztransformation wird gemäß folgender Vorschrift auf jeden Referenz-Konturpunkt und den entsprechenden Bildpunkt in dem Abstandsbild Dv )(x, y, t - l) 300 angewendet gemäß:
D (ι)(x, y, t - l) = min [x, y]τ - v' (1, t - l) (3)
wobei mit
• Dv(l)(x' Yι fc ~~ !) ei-n Minimal -Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,
• [x, y] ein Bildpunkt in einem Distanztransformations-
Bild,
• t ein Zeitpunkt,
• v' (l) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, und
• 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild, bezeichnet wird.
Damit lässt sich Vorschrift (1) umwandeln in folgende Vorschrift :
K-l Efo) = ∑ (Dv'(l)t(k) + τ±)f . (4) k=0
Dies bedeutet anschaulich, dass die Energien bestimmt werden, indem die Kontur, für welche die Bestimmung unter Berücksichtigung bezüglich der Referenz-Kontur bestimmt werden soll, über das Abstandsbild 300, das heißt über die Funktion, das heißt die minimalen Abstandswerte Dv(i)(x' Y/ t - l) n dem Abstandsbild 300 verschoben wird und für jede Verschiebung, das heißt Translation, die Abstandswerte (Distanzwerte) aus dem Abstandsbild gelesen, das heißt ermittelt und aufsummiert werden.
In Vorschrift (4) wird die minimale Distanz somit nur einmal bei der Erzeugung des Abstandsbildes 300 berechnet.
Dies ist gegenüber der für jeden Bildpunkt zu ermittelnden Approximation gemäß Vorschrift (1) eine erhebliche
Vereinfachung, da m (1) die Ermittlung der Distanz für jede Translation erforderlich ist.
Um die Bewegungsinformation entlang der jeweiligen Kontur bzw. der Kontur-Bildpunkte zeitlich zu stabilisieren, wird eine eindeutige Zuordnung von Vorgangerkontur und Nachfolgerkontur ermittelt .
Dies erfolgt erfmdungsgemaß durch eine Modifikation von Vorschrift (4), so dass sich zur Ermittlung der jeweiligen Energie erfmdungsgemaß folgende Vorschrift ergibt:
E(T
Figure imgf000018_0001
Anschaulich bedeutet Vorschrift (5) , dass Energien nur bestimmt werden, wenn der Translationsvektor T-_ auf einen
Konturpunkt in dem Vorgangerbild, das heißt auf einem Referenz-Kontur-Bildpunkt zeigt. Sonst wird der jeweilige Energiewert auf einen maximalen, vorgegebenen Wert (MAX_VALUE) gesetzt.
Nachdem für jeden Kontur-Bildpunkt ein Referenz-Kontur- Bildpunkt und damit ein entsprechender optimaler Translationsvektor ermittelt worden ist (Schritt 206) , wird für die einzelnen Kontur-Bildpunkte eine neue, stabilisierte Bewegung errechnet (Schritt 207) .
Dies ist möglich, indem die Translationswerte aus der Vergangenheit, das heißt aus vorangegangenen Bewegungsermittlungen gespeichert werden.
Mit TL(t) werden die L-vergangenen Translationen bezeichnet, die über die Vorganger-Referenz-Kontur-Bildpunkte bekannt sind.
Die neue Bewegung wird dann beispielsweise mittels einer Mittelwertbildung bestimmt. Anders ausgedrückt erfolgt eine zeitliche Rückkopplung bei der Bestimmung der jeweiligen Translationen.
Zur Mittelwertbildung werden folgende Verfahrensschritte durchgeführt. In einem ersten Schritt wird die mittlere Verschiebung
üfr) = n ■ + ϊ?e- - 1) + + TL-1
(t " 1))
berechnet .
Ferner werden die neuen vergangenen Translationsschätzungen, das heißt die neuen Translationsvektoren gemäß folgender Vorschrift abgespeichert :
τj(t) = [ri# τ?(t - l), ... , τj"2(t - l)j. (7)
Alternativ kann die Bewegung dadurch ermittelt werden, dass die ermittelten Translationsvektoren rekursiv gemäß folgender Vorschrift gefiltert werden:
π_i(t) = mi(t - l) + α • ( ^t - l) - τ±) . (8) Die rekursive Filterung hat den Vorteil, dass sie weniger Speicherplatz benötigt.
Als letzter Verarbeitungsschritt wird gemäß dieser Ausgestaltung der Erfindung die Kontur in das Abstandsbild überführt, so dass der Wert an jedem Bildpunkt in dem Abstandsbild dem minimalen Abstand zu einem Kontur-Bildpunkt entspricht gemäß folgender Vorschrift:
D*v(i)(x, y, t - l) = min [x, y]T - v(l, t - l) (8)
Alternativ kann die Distanztransformation gemäß den in [7] und [8] beschriebenen Verfahren implementiert sein.
Im Weiteren wird das in [6] beschriebene Verfahren kurz dargestellt .
Die Darstellung dient insbesondere dazu, den numerischen Aufwand bei der Implementierung des oben beschriebenen Verfahrens darzulegen.
Zur Bestimmung der Distanztransformation müssen mitunter Abstandswerte zwischen den jeweiligen Bildpunkten betrachtet werden, die auf dem Bildraster, das heißt in dem jeweiligen betrachteten digitalen Bild relativ weit voneinander örtlich entfernt sind.
Die Berechnung der Distanzwerte ist damit eine relativ numerisch aufwendige Operation.
Anstatt für einen Bildpunkte alle möglichen Abstandswerte zu Kontur-Bildpunkten zu bestimmen und in Relation zueinander zu setzen, werden bei der Distanztransformation ausschließlich lokale Abstände betrachtet.
Auf diese Weise kann der wahre euklidische Abstand jedoch nur approximiert werden. Die in [6] beschriebene parallele Variante der Distanztransformation besitzt folgende formale Struktur.
Zunächst wird iterativ eine lokale Maske über das Abstandsbild geschoben. An der Position des Maskenzentrums wird der neue Distanzwert in dem Abstandsbild zu der Referenz-Kontur gemäß folgender Vorschrift berechnet:
Dn(x, y) = min (pn 1(x, y) + mask(u, v)j. .9)
UjVemask1
Dabei wird mit n jeweils ein Iterationsschritt eindeutig identifiziert. Mit D (x, y) wird das invertierte Abstandsbild bezeichnet .
Auf diese Weise wird erreicht, dass initial an den
Konturbildpunkten der Bildwert, der dem Abstandswert entspricht, mit dem Wert „0" vorliegt und alle restlichen Bildwerte einen konstanten Wert größer als die zu erwartende maximale Distanz aufweisen.
Mit mask(u, v) wird die lokale Maske bezeichnet. Die
Maskenwerte entsprechen den lokalen Abstandswerten der Bildpunkte an den jeweiligen Maskenpositionen zum Maskenzentrum.
Gemäß [6] werden für verschiedene Maskengrößen die optimalen lokalen Abstandswerte bestimmt, so dass die resultierenden Abstandswerte möglichst wenig von der wahren euklidischen Distanz abweichen.
Dabei gilt prinzipiell, dass je größer die Maske ist, desto geringer ist die Abweichung, das heißt der numerische Fehler.
Abhängig von der Distanztransformation, das heißt von dem Abstandsbild, erfolgt in einem letzten Schritt die zeitlich rückgekoppelte Bewegungsbestimmung 103, die das Ergebnis der Konturzuordnung über mehrere zeitlich aufeinander folgende Bilder verwendet. Im Rahmen der Ermittlung der Bildbewegung wird die Konturzuordnung 102 genutzt, um die Bewegung der Konturen zeitlich zu stabilisieren. Als Ergebnis dieses Schrittes wird zu jedem Kontur-Bildpunkt ein Bewegungsvektor angegeben.
Mit M (k, t) wird die Menge aller Bewegungsvektoren an jedem Kontur-Bildpunkt zu einem Zeitpunkt t bezeichnet.
In den Fig.4a bis Fig.4c werden Ergebnisse der oben dargestellten Implementierung der Bewegungsermittlung gezeigt. Die gesamte Verarbeitungszeit auf einem Pentium III mit 650 MHz beträgt für eine Bildgröße von 128 Zeilen zu 128 Spalten ca. 20 ms.
Die genaue Verarbeitungszeit hängt jedoch mit der Anzahl der zu bearbeitenden Kontur-Bildpunkte zusammen.
Im Weiteren werden einige Alternativen zu dem oben dargelegten Ausführungsbeispiel erläutert.
Es ist anzumerken, dass die Objektkonturen vom Eintritt eines Objektes in einen überwachten, das heißt von einer Digitalkamera aufgenommenen Aufnahmebereich bis zu seinem
Verlassen hin durchgängig verfolgt werden kann. Damit können beispielsweise für eine automatische Erfassung von Verkehrsdaten direkt die Verweil Zeiten von Fahrzeugen in dem Aufnahmebereich bestimmt werden und beispielsweise in der Stauprognose oder auch im Rahmen der Kollisionsvermeidung von
Fahrzeugen berücksichtigt werden.
Die KonturZuordnung, wie sie oben beschrieben wurde, beruht zunächst nur auf dem Auswerten der Abstandswerte und damit auf der Form der Kontur selbst. Bei vielen technischen Objekten, beispielsweise bei Fahrbahnmarkierungen oder Verkehrsschildern treten jedoch häufig parallele Konturverläufe auf. Die Form allein kann somit nicht immer ein eindeutiges Kriterium darstellen. Somit wird alternativ der Konturform eine zusätzliche Information beigefügt, nämlich die Konturrichtung, mittels der angegeben wird, in welcher Richtung der Kontrastsprung in der jeweiligen Kontur erfolgt.
Die Konturrichtung wird automatisch mit der Konturgenerierung bestimmt. Bei einer weißen Fahrbahnmarkierung erfolgt ein Grauwertwechsel von dunkel zu hell und wieder zurück zu dunkel. Der linke und rechte Rand der jeweiligen Kontur verlaufen dann parallel, aber ihre Konturrichtung ist entgegengesetzt.
Um die Konturrichtung als zusätzliches Merkmal zu nutzen, wird wie folgt vorgegangen:
• Ähnlich der Distanztransformation wird die Richtungsinformation von vMt - 1 dilatiert.
• Bei der Summation der Abstandswerte werden die Fälle in einer Kostenfunktion bestraft, das heißt negativ bewertet, bei der die Richtung des aktuellen Konturpunkts mit der dilatierten Richtung nicht übereinstimmt.
Anschaulich wird durch die Erfindung ein sehr vorteilhafter Kompromiss zwischen Datenreduktion und Erhaltung der wesentlichen Bildinformation in einer Folge digitaler Bilder angegeben.
Wie in [9] beschrieben, ist es sogar möglich, aus einer Konturrepräsentation das gesamte digitale Bild wieder zu rekonstruieren .
Anschaulich stellt die Erfindung aufgrund der Verwendung von Konturen zur Bewegungsermittlung einen korrelationsbasierten Ansatz dar, der insbesondere hinsichtlich Segmentierungsfehlern wesentlich robuster ist als die bekannten lediglich bildpunktbasierten Verfahren.
Außerdem ist aufgrund mittels der Distanztransformation eine sehr effiziente Implementierung der Erfindung angegeben.
In diesem Dokument sind folgende Veröffentlichungen zitiert:
[1] S. M. Smith, ASSET-2 : Real-Time Motion Segmentation and Shape Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No . 8,
Seite 814-820, 1995
[2] W. Enkelmann et al, Obstacle Detection by Real-Time Optical Flow Evaluation, Intelligent Vehicles 1994, Seite 97-102, 1994
[3] D. Beymer, P. McLauchlan et al , A Real-Time Computer
Vision System for Measuring Traffic Parameters,
CVPR'97, 1997
[4] J. Canny, A Computational Approach to Edge Detection,
IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. 6, 1998
[5] R. Nevatia, K. R. Babu, Linear Feature Extraction and Description, Computer Graphics and Image Processing, Seite 257-269, 1980
[β] G. Borgefors, Distance Transformation in Digital Images, Computer Vision, Graphics and Image
Processing, Vol. 34, Seite 344-371, 1986
[7] P.E. Danielsson, Euclidean Distance Mapping, Computer
Graphics and Image Processing, Vol. 14, Seite 227 - 248, 1980
[8] P. Soille, Morphologische Bildverarbeitung, Springer- Verlag, 1998
[9] Y. Itoh, An Edge-Oriented Progressive Image Coding, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 6, 1996 [10] US 7,137,913
[11] N. Paragios und R. Deriche, Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, Nr. 3, S. 266 - 280, März 2000
Bezugszeichenliste
100 Blockdiagramm
101 Konturextraktion
102 KonturZuordnung
103 Bewegungsbestimmung
200 Ablaufdiagramm
201 Digitales Bild
202 Gradientenausdünnung
203 Gradientenfilterung
204 Eckpunkt-Verknüpfung
205 Bilden der Konturstruktur
206 Bewegungsermittlung
207 Distanztransformation
300 Abstandsbild
301 Referenz-Kontur
302 Höhenlinien
303 Referenz-Kontur
304 Translationsvektor

Claims

Patentansprüche
1. Verfahren zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern mit Bildpunkten, denen Codierungsinformation zugeordnet ist,
• bei dem unter Verwendung der Codierungsinformation in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur- Bildpunkten ermittelt wird, und • bei dem unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte die Bewegungsermittlung durchgeführt wird bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz-Kontur-Bildpunkten.
2. Verfahren nach Anspruch 1, bei dem unter Verwendung der Codierungsinformation in dem zweiten Bild mindestens eine Referenz-Kontur mit einer Vielzahl von auf der Kontur sich befindenden Referenz-Kontur- Bildpunkten ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2,
• bei dem im Rahmen der Bewegungsermittlung Minimal - Abstandswerte zwischen Bildpunkten eines Abstandsbildes und der Referenz-Kontur mittels einer morphologischen Operation bestimmt werden, und
• bei dem die Minimal -Abstandswerte gespeichert werden.
4. Verfahren nach Anspruch 3 , bei dem als morphologische Operation eine Distanztransformation verwendet wird.
5. Verfahren nach Anspruch 3 oder 4 , bei dem ein Minimal -Abstandswert Dv(]_")(x, y, t - l) für einen Kontur-Bildpunkt v' (l, t) zu einem Zeitpunk t zu einem
Bildpunkt (x, y) gemäß folgender Vorschrift ermittelt wird: Dv(l)(x< y- t) = min [x, y]T - v' (l, t)
wobei mit
• Dv(l)(x' ' fc) e^-n Minimal -Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,
• [χ y] e*in Bildpunkt in dem Abstandsbild,
• v' (l, t) ein Referenz-Kontur-Bildpunkt in dem zweiten
Bild, • 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen
Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,
• t ein Zeitpunkt, zu dem die Ermittlung durchgeführt wird, bezeichnet wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Kontrastrichtung, in welcher die Kontrastveränderung entlang einer Kontur verläuft, bei der Bewegungsermittlung berücksichtigt wird.
7. Vorrichtung zur Ermittlung der Bewegung in mindestens zweit zeitlich aufeinander folgenden digitalen Bilder mit Bildpunkten, denen Codierungsinformation zugeordnet ist, mit einem Prozessor, der derart eingerichtet ist, dass folgende Verfahrensschritte durchführbar sind
• unter Verwendung der Codierungsinformation wird in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt und
• unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte wird eine Bewegung durchgeführt bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz- Kontur-Bildpunkten.
Figure imgf000030_0001
PCT/DE2002/001585 2001-05-14 2002-05-02 Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern WO2002093931A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02740306A EP1396153A2 (de) 2001-05-14 2002-05-02 Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern
US10/476,690 US20050008073A1 (en) 2001-05-14 2002-05-02 Method and device for determining movement in at least two successive digital images, computer readable storage medium and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10123365.5 2001-05-14
DE10123365A DE10123365A1 (de) 2001-05-14 2001-05-14 Verfahren und Vorrichtung zum Ermitteln von Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, Computerlesbares Speichermedium und Computerprogramm-Element

Publications (2)

Publication Number Publication Date
WO2002093931A2 true WO2002093931A2 (de) 2002-11-21
WO2002093931A3 WO2002093931A3 (de) 2003-05-08

Family

ID=7684709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2002/001585 WO2002093931A2 (de) 2001-05-14 2002-05-02 Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern

Country Status (4)

Country Link
US (1) US20050008073A1 (de)
EP (1) EP1396153A2 (de)
DE (1) DE10123365A1 (de)
WO (1) WO2002093931A2 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258794A1 (de) * 2002-12-16 2004-06-24 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
US8837669B2 (en) 2003-04-25 2014-09-16 Rapiscan Systems, Inc. X-ray scanning system
US7949101B2 (en) 2005-12-16 2011-05-24 Rapiscan Systems, Inc. X-ray scanners and X-ray sources therefor
US8451974B2 (en) 2003-04-25 2013-05-28 Rapiscan Systems, Inc. X-ray tomographic inspection system for the identification of specific target items
GB0525593D0 (en) 2005-12-16 2006-01-25 Cxr Ltd X-ray tomography inspection systems
US8223919B2 (en) 2003-04-25 2012-07-17 Rapiscan Systems, Inc. X-ray tomographic inspection systems for the identification of specific target items
US9113839B2 (en) 2003-04-25 2015-08-25 Rapiscon Systems, Inc. X-ray inspection system and method
US8243876B2 (en) 2003-04-25 2012-08-14 Rapiscan Systems, Inc. X-ray scanners
CN109584156B (zh) * 2018-10-18 2022-01-28 中国科学院自动化研究所 显微序列图像拼接方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008977A (ko) * 1997-07-05 1999-02-05 배순훈 윤곽선 부호화 방법
KR100301113B1 (ko) * 1998-08-05 2001-09-06 오길록 윤곽선 추적에 의한 동영상 객체 분할 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DE ASSIS ZAMPIROLLI F ET AL: "Classification of the distance transformation algorithms under the mathematical morphology approach" COMPUTER GRAPHICS AND IMAGE PROCESSING, 2000. PROCEEDINGS XIII BRAZILIAN SYMPOSIUM ON GRAMADO, BRAZIL 17-20 OCT. 2000, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 17. Oktober 2000 (2000-10-17), Seiten 292-299, XP010521957 ISBN: 0-7695-0878-2 *

Also Published As

Publication number Publication date
US20050008073A1 (en) 2005-01-13
EP1396153A2 (de) 2004-03-10
DE10123365A1 (de) 2002-11-28
WO2002093931A3 (de) 2003-05-08

Similar Documents

Publication Publication Date Title
EP2467828B1 (de) Verfahren und system zur automatischen objekterkennung und anschliessenden objektverfolgung nach massgabe der objektform
DE69635980T2 (de) Verfahren und vorrichtung zur detektierung von objektbewegung in einer bilderfolge
DE60038158T2 (de) Zielerfassungsvorrichtung und verfahren zur schätzung des azimuts von radarzielen mittels radon transformation
EP1444654A2 (de) Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
DE60111851T2 (de) Videobildsegmentierungsverfahren unter verwendung von elementären objekten
DE112009003144B4 (de) Verfahren und Vorrichtung zum Feststellen eines Hindernisses in einem Bild
EP0385384B1 (de) Verfahren zur Detektion bewegter Objekte in digitaler Bildfolge
DE60224853T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE112018000332T5 (de) Dichtes visuelles slam mit probabilistic-surfel-map
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102006035637A1 (de) Verfahren zum Erfassen und Verfolgen von deformierbaren Objekten
DE112011103690T5 (de) Erkennung und Verfolgung sich bewegender Objekte
EP3980968B1 (de) Detektion, 3d-rekonstruktion und nachverfolgung von mehreren relativ zueinander bewegten starren objekten
DE102006050364A1 (de) Verfahren zum Detektieren und Verfolgen deformierbarer Objekte unter Verwendung eines adaptiven zeitvariierenden autoregressiven Modells
WO2002093931A2 (de) Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern
EP0414113A2 (de) Verfahren zur Bewegungskompensation in einem Bewegtbildcoder oder -decoder
DE102019105293A1 (de) Schätzung der Bewegung einer Bildposition
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
DE4314483A1 (de) Überwachungssystem
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
EP3811336B1 (de) Verfahren zur bestimmung von zueinander korrespondierenden bildpunkten, soc zur durchführung des verfahrens, kamerasystem mit dem soc, steuergerät und fahrzeug
DE60310766T2 (de) Beleuchtungsunabhängige gesichtserkennung
DE102017112333A1 (de) Verbesserung eines pyramidalen Optical-Flow-Trackers
WO2003025843A2 (de) Modellbasierte objektklassifikation und zielerkennung
DE102021128523A1 (de) Hierarchische bildzerlegung zur defekterkennung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2002740306

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002740306

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10476690

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2002740306

Country of ref document: EP