WO2005062256A1 - Verfahren zum automatisierten, nachträglichen entfernen von bewegten objekten aus einem mit einem bildaufzeichnenden gerät aufgenommenen bild, bildverarbeitungssystem und computerprogrammprodukt - Google Patents

Verfahren zum automatisierten, nachträglichen entfernen von bewegten objekten aus einem mit einem bildaufzeichnenden gerät aufgenommenen bild, bildverarbeitungssystem und computerprogrammprodukt Download PDF

Info

Publication number
WO2005062256A1
WO2005062256A1 PCT/EP2004/053510 EP2004053510W WO2005062256A1 WO 2005062256 A1 WO2005062256 A1 WO 2005062256A1 EP 2004053510 W EP2004053510 W EP 2004053510W WO 2005062256 A1 WO2005062256 A1 WO 2005062256A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
sequence
moving objects
areas
Prior art date
Application number
PCT/EP2004/053510
Other languages
English (en)
French (fr)
Inventor
Gero BÄSE
Robert Kutka
Norbert Oertel
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2005062256A1 publication Critical patent/WO2005062256A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the invention relates to a method for the automated, subsequent removal of moving objects from an image recorded with an image recording device.
  • the invention further relates to an image processing system for performing the method according to the invention and a computer program product.
  • a still or static object such as a building with an image recording device, e.g. a camera or a video cell phone
  • an image recording device e.g. a camera or a video cell phone
  • moving objects e.g. People or passing vehicles
  • the coverage complicates e.g. the further processing of the image if it is used to construct a virtual environment.
  • the user of the image-recording device has therefore until now been forced to wait until the still object to be captured is free of a covering of one or more moving objects.
  • this is difficult to do, especially in busy places or under time pressure.
  • the object of the present invention is therefore to provide a method with which moving objects can subsequently be removed from an image recorded with an image recording device in a simple and inexpensive manner. Another object is to provide an image processing system with which the method can be carried out. These objects are achieved with a method with the features of claim 1 and with an image processing system with the features of claim 15.
  • the method according to the invention for the automated, subsequent removal of moving objects from an image recorded with an image recording device initially comprises the recording of a sequence of images with at least one still or static object which is temporarily and / or partially covered by at least one moving object , Corresponding image areas of the sequence of images, each with an image value, are evaluated. The determined image values are then acted upon by a statistical function in order to find the image areas with only immovable objects from the sequence of images and to assemble them into a result image which is cleaned of the moving objects.
  • the invention proposes to use a preferably digital image recording device such as e.g. a video cell phone, a PDA (Personal Digital Assistant), a digital camera, etc., in order to automatically distinguish and filter out the moving from the unmoving objects from the plurality of available recordings.
  • a preferably digital image recording device such as e.g. a video cell phone, a PDA (Personal Digital Assistant), a digital camera, etc.
  • a digital image recording device such as e.g. a video cell phone, a PDA (Personal Digital Assistant), a digital camera, etc.
  • the image processing system has an image recording device, a memory coupled to it for storing a plurality of images and an evaluation unit which can access the data stored in the memory and which is set up to carry out the method according to the invention.
  • the evaluation of corresponding image areas with a respective image value is carried out iteratively.
  • each image of the sequence of images is divided into a number of blocks, which are preferably arranged regularly in a coordinate system. Each of these blocks corresponds to an image area.
  • an image area is selected in the first image and evaluated with the corresponding image areas of the other images of the sequence of images.
  • the image area adjacent to the image area just evaluated is selected, for example.
  • an image area corresponds to a pixel or pixel.
  • the statistics function uses a median operator known from the statistics.
  • the median operator is executed area by area. For example, are aj, j, ⁇ , ..., a ⁇ , j, n the values of the image areas at position i, j in the coordinate system for a total of n images and are ei, -, the values of the pixels at position i, j for the result image to be calculated, the result image is calculated as follows:
  • the statistical function uses a histogram operator instead of the median operator.
  • the histogram operator specifies the most common image value "of respective corresponding image areas. In this case, the result image is calculated accordingly
  • a frequency distribution of the image values of corresponding image areas is expediently created, the image value with the most frequent occurrence being selected as the result value.
  • Either the brightness of an image area or one or more color values of an image area can expediently be evaluated as the image value and thus as a criterion for the decision and, in the case of several color values, superimposed.
  • the image noise is expediently carried out as a further method step for each image in the sequence of images in order to improve the accuracy of the method according to the invention. Due to the image noise that is common in digital image recording devices, it is unlikely that two image values are exactly the same, so that evaluation using the statistical function is made more difficult. It is therefore advisable to reduce the image noise before loading the image values with the statistical function. According to an embodiment of the invention, this can be done by means of low-pass filtering. Alternatively, the quantization of the image areas is conceivable.
  • the sequence of images is preferably recorded from the same perspective. However, if the perspective does not exactly match, then after the sequence of images has been recorded, matching image sections of the sequence of images are first determined, so that corresponding image regions from different images come to lie in the same position in a coordinate system. So-called block matching methods are known for this method step, which detects and compensates for the displacement of the image background, which comprises the static or stationary objects. After this method step, a sequence of images is present, with corresponding image areas from the different images of the sequence of images coming to rest in the same position in a coordinate system.
  • the method according to the invention can already be carried out when corresponding image areas of the static or stationary object are visible in only two images.
  • the sequence of images thus comprises at least three images.
  • the number of images in the sequence of images is preferably selected as a function of the moving objects in front of the still object or the still objects. In other words, the more moving objects temporarily and / or partially cover the still object, the greater the number of images in the sequence of images must be in order to achieve a reliable result.
  • FIGS. 2a to 2c image values assigned to the respective images, which are subjected to a further statistical evaluation
  • 3 shows the result image determined with the method according to the invention from the sequence of images
  • Figure 4 shows an image processing system
  • FIG. 1 shows a sequence of images that were taken in succession from the same perspective at different times.
  • a static object 2 in the form of three houses arranged side by side can be seen in each of the figures la to lc.
  • a motor vehicle which represents a moving object 3, moves from the left edge of the image in the direction of the right edge of the image.
  • the number n of the sequence of images is arbitrary, but must not be less than 3.
  • the number of the sequence of images is essentially determined by the number of moving objects that temporarily and / or partially obscure a static object.
  • the figures la to lc show the ideal case in which the sequence of n images is recorded from the same perspective. If this is not possible for certain reasons, matching image sections must first be found, for example by means of a block matching method for displacement or disparity estimation.
  • the block matching methods detect the displacement of the static objects, or more generally the image background, in order to compensate for the displacement. After carrying out these methods, which are well known from the prior art, image sections of corresponding size are available. If, as can be seen in FIGS. 1 a to 1 c, a grid with image areas of the same size is placed over a respective image, then corresponding image areas 5 of the sequence of images are located at the same position in the coordinate system.
  • the size of an image area is preferably one image point (pixel), since the method thereby produces the greatest accuracy.
  • the image value can represent the brightness of an image area.
  • one or more color values of an image area can be evaluated as the image value and, in the case of several color values, superimposed.
  • FIGS. 2a to 2c Such an evaluation with an image value at position j along the x-axis of respective images is shown in FIGS. 2a to 2c.
  • the image value curves shown are only chosen as an example for the explanation. It is assumed here that the image value of an image with only static objects has an approximately uniform course. Due to the vehicle moving from left to right, the image recording device records a lower brightness value. The movement of the vehicle or generally of the moving object can therefore be traced in the image value curve by the pot-shaped drop running from left to right.
  • Such image value profiles are determined not only at point j, but over the entire y-axis, so that the result would be an area in an x-y coordinate system instead of a curve.
  • the image values a ⁇ , j of each image area 6a, 6b, ... 6n of the sequence of images are compared with one another. This comparison takes place for each of the image areas 5 of the sequence of images.
  • the image values a - ,, 1, ... a- ,, n are sorted in size and the image value with the middle index is used as the result value.
  • the method according to the invention thus generates a complete image of the static object from various individual images.
  • the method according to the invention can be used, for example, in mobile imaging terminals, such as, for example, video cell phones, PDAs, digital cameras and the like.
  • the method enables hidden objects to be hidden. objects, such as people or vehicles, in front of the desired static object.
  • augmented reality is a combination of real and artificial objects.
  • To create the virtual worlds it is necessary to take panoramas of natural surroundings, which then serve as background images for them. People or other moving objects in the natural environment can be easily removed or filtered out.
  • FIG. 4 shows in schematic form an image processing system 10.
  • This has an image recording device, such as e.g. a camera, which is connected to a memory 12.
  • the memory 12 which can be of any type, serves to store the sequence of images which have been recorded with the image recording device 11.
  • An evaluation unit 13, which can read out the images stored in the memory 12, is also connected to the memory 12.
  • the evaluation unit is set up to carry out the method described above and gives the result e.g. the result image adjusted for the moving objects is returned to a monitor or the memory 12.
  • the image-recording device and evaluation unit 13 do not necessarily have to be different devices, as shown in FIG. 4. Rather, the evaluation unit 13 can also be contained in the image recording device 11 itself, as can the memory 12.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Es wird ein Verfahren zum automatisierten, nachträglichen Entfernen von bewegten Objekten (3) aus einem mit einem Bildaufzeichnenden Gerät aufgenommenen Bild beschrieben, bei dem eine Folge von Bildern (1a, 1b, …, 1n) mit zumindest einem unbewegten oder statischen Gegenstand (2), der von zumindest einem bewegten Objekt (3) zeitweilig und/oder teilweise verdeckt ist, aufgenommen wird, korrespondierende Bildbereiche (6a, 6b, …, 6n) der Folge von Bildern (1a, 1b, …, 1n) mit jeweils einem Bildwert (a) bewertet werden, und die ermittelten Bildwerte (a) mit einer Statistikfunktion beaufschlagt werden, um aus der Folge von Bildern (1a, 1b, ...1n) die Bildbereiche mit ausschliesslich unbewegten Gegenständen (2) ausfindig zu machen und zu einem Bild zusammenzusetzen, das um die bewegten Objekte bereinigt ist.

Description

Beschreibung
Verfahren zum automatisierten, nachträglichen Entfernen von bewegten Objekten aus einem mit einem Bildaufzeichnenden Ge- rät aufgenommenen Bild, Bildverarbeitungssystem und Computer- programrnprodukt
Die Erfindung betrifft ein Verfahren zum automatisierten, nachträglichen Entfernen von bewegten Objekten aus einem mit einem Bildaufzeichnenden Gerät aufgenommenen Bild. Die Erfindung betrifft weiterhin ein Bildverarbeitungssystem zur Durchführung des erfindungsgemäßen Verfahrens sowie ein Computerprogrammprodukt .
Bei einer Aufnahme eines Bildes eines unbewegten oder statischen Gegenstandes, wie z.B. eines Gebäudes, mit einem Bildaufzeichnenden Gerät, z.B. einer Kamera oder einem Videohandy, kommt es häufig vor, dass der unbewegte Gegenstand durch ein oder mehrere bewegte Objekte, wie z.B. Menschen oder vor- überfahrende Fahrzeuge, verdeckt ist. In vielen Fällen wäre es wünschenswert, den unbewegten Gegenstand ohne diesen verdeckende Objekte aufzunehmen. Die Überdeckung erschwert z.B. die Weiterverarbeitung des Bildes, wenn dieses zur Konstruktion einer virtuellen Umgebung herangezogen wird.
Der Benutzer des Bildaufzeichnenden Gerätes ist deshalb bislang gezwungen, so lange zu warten, bis der aufzunehmende unbewegte Gegenstand frei von einer Überdeckung eines oder mehrerer bewegter Objekte ist. Gerade an belebten Orten oder un- ter Zeitdruck ist dies jedoch nur schwer möglich.
Die Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben, mit dem bewegte Objekte aus einem mit einem Bildaufzeichnenden Gerät aufgenommenen Bild nachträglich auf einfache Weise und kostengünstig entfernt werden können. Eine weitere Aufgabe besteht darin, ein Bildverarbeitungssystem anzugeben, mit dem das Verfahren ausgeführt werden kann. Diese Aufgaben werden mit einem Verfahren mit den Merkmalen des Patentanspruches 1 sowie mit einem Bildverarbeitungssystem mit den Merkmalen des Patentanspruches 15 gelöst.
Das erfindungsgemäße Verfahren zum automatisierten, nachträglichen Entfernen von bewegten Objekten aus einem mit einem Bildaufzeichnenden Gerät aufgenommenen Bild umfasst zunächst die Aufnahme einer Folge von Bildern mit zumindest einem un- bewegten oder statischen Gegenstand, der von zumindest einem bewegten Objekten zeitweilig und/oder teilweise verdeckt ist. Es erfolgt ein Bewerten korrespondierender Bildbereiche der Folge von Bildern mit jeweils einem Bildwert. Anschließend werden die ermittelten Bildwerte mit einer Statistikfunktion beaufschlagt, um aus der Folge von Bildern die Bildbereiche mit ausschließlich unbewegten Gegenständen ausfindig zu machen und zu einem Ergebnisbild zusammenzusetzen, das um die bewegten Objekte bereinigt ist.
Mit anderen Worten schlägt die Erfindung vor, den gewünschten, unbewegten Gegenstand mit Hilfe eines vorzugsweise digitalen Bildaufzeichnenden Gerätes, wie z.B. einem Videohandy, einem PDA (Personal Digital Assistant) , einer Digitalkamera, usw., aufzunehmen, um aus der Mehrzahl an vorliegenden Auf- nahmen automatisch die bewegten von den unbewegten Objekten zu unterscheiden und auszufiltern. Damit kann aus verschiedenen Einzelbilder heraus ein lückenloses Bild des unbewegten, statischen Gegenstandes konstruiert werden.
Das erfindungsgemäße Bildverarbeitungssystem weist ein Bildaufzeichnendes Gerät, einen mit diesem gekoppelten Speicher zur Speicherung einer Mehrzahl an Bildern und eine Auswerteeinheit auf, die auf die in dem Speicher gespeicherten Daten zugreifen kann und die dazu eingerichtet ist, das erfindungs- gemäße Verfahren auszuführen. Gemäß einer bevorzugten Ausgestaltung erfolgt das Bewerten korrespondierender Bildbereiche mit einem jeweiligen Bildwert iterativ. Zu diesem Zweck wird jedes Bild der Folge von Bildern in eine Anzahl an Blöcke unterteilt, die vorzugsweise regelmäßig in einem Koordinatensystem angeordnet sind. Jeder dieser Blöcke entspricht einem Bildbereich. Zum Bewerten der Bildbereiche der Folge von Bildern wird beispielsweise in dem ersten Bild ein Bildbereich ausgesucht und mit den korrespondierenden Bildbereiche der übrigen Bilder der Folge von Bil- dern bewertet. Im nächsten Schritt, wird beispielweise der zu dem gerade bewerteten Bildbereich benachbarte Bildbereich ausgesucht. Es erfolgt wiederum eine Bewertung mit korrespondierenden Bildbereichen der übrigen Bilder der Folge von Bildern. Diese Vorgehen wird iterativ fortgesetzt bis alle kor- respondierenden Bildbereiche der Folge von Bildern bewertet wurden .
In einer bevorzugten Ausgestaltung entspricht dabei ein Bildbereich einem Bildpunkt oder Pixel. Hierdurch lässt sich eine größtmögliche Genauigkeit beim Ausfiltern der bewegten Objekte erzielen.
Gemäß einer bevorzugten Ausgestaltung greift die Statistikfunktion auf einen aus der Statistik bekannten Median- Operator zurück. Der Median-Operator wird dabei bildbereichs- weise ausgeführt. Sind beispielsweise aj,j,ι , ... , a±,j,n die Werte der Bildbereiche an der Position i,j in dem Koordinatensystem für insgesamt n Bilder und sind ei,-, die Werte der Bildpunkte an der Position i,j für das zu errechnende Ergeb- nisbild, so errechnet sich das Ergebnisbild wie folgt:
ei, j = med(aj.,j,ι, ... ,aif rn)
wobei "med" stellvertretend für den Median-Operator steht. Diese Vorgehensweise ist unempfindlich gegenüber kleinen, durch Rauschen hervorgerufenen Werteänderungen der Bildwerte. Bei dieser Ausgestaltung sind insgesamt so viele Aufnahmen erforderlich, dass samtliche Bildbereiche unbewegter Gegenstande häufiger als bewegte Objekte auftreten.
Gemäß einer anderen bevorzugten Ausgestaltung greift die Sta- tistikfunktion auf einen Histogramm-Operator an Stelle des Median-Operators zurück. Der Histogramm-Operator gibt den häufigsten Bildwert "jeweiliger korrespondierender Bildbereiche an. Das Ergebnisbild errechnet sich in diesem Fall gemäß
e1(] = h(alfD,ι, ... , alr-,,n) •
Zweckmaßigerweise wird dabei eine Häufigkeitsverteilung der Bildwerte korrespondierender Bildbereiche erstellt, wobei der Bildwert mit dem häufigsten Vorkommnis als Ergebniswert aus- gewählt wird.
Als Bildwert und damit als Kriterium für die Entscheidung können zweckmaßigerweise entweder die Helligkeit eines Bildbereiches oder ein oder mehrere Farbwerte eines Bildbereiches bewertet und im Falle mehrerer Farbwerte überlagert werden.
Zweckmaßigerweise erfolgt als weiterer Verfahrensschritt für jedes Bild der Folge von Bildern eine Reduktion des Bildrauschens, um die Genauigkeit des erfindungsgemäßen Verfahrens zu verbessern. Durch das bei digitalen Bildaufzeichnenden Geraten übliche Bildrauschen ist es unwahrscheinlich, dass zwei Bildwerte exakt gleich sind, so dass eine Auswertung mittels der Statistikfunktion erschwert wird. Es ist deshalb zweckmäßig, vor dem Beaufschlagen der Bildwerte mit der Statistik- funktion das Bildrauschen zu reduzieren. Dies kann gemäß einer Ausgestaltung der Erfindung mittels einer Tiefpassfilterung erfolgen. Alternativ ist die Quantisierung der Bildbereiche denkbar.
Bevorzugt erfolgt die Aufnahme der Folge von Bildern aus der gleichen Perspektive. Stimmt die Perspektive jedoch nicht genau überein, so erfolgt nach der Aufnahme der Folge von Bildern zunächst das Bestimmen übereinstimmender Bildausschnitte der Folge von Bildern, so dass korrespondierende Bildbereiche aus unterschiedlichen Bildern in einem Koordinatensystem an der gleichen Position zum Liegen kommen. Für diesen Verfahrensschritt sind sogenannte Blockmatching-Verfahren bekannt, die die Verschiebung des Bildhintergrundes, der die statischen oder unbewegten Gegenstände umfasst, erfasst und kompensiert. Nach diesem Ver- fahrensschritt liegt eine Folge von Bildern vor, wobei korrespondierende Bildbereiche aus den verschiedenen Bildern der Folge von Bildern an der gleichen Position in einem Koordinatensystem zum Liegen kommen.
Das erfindungsgemäße Verfahren lässt sich bereits durchführen, wenn korrespondierende Bildbereiche des statischen bzw. unbewegten Gegenstandes in nur zwei Bildern sichtbar sind. Die Folge von Bildern umfasst damit wenigstens drei Bilder. Bevorzugt wird die Anzahl der Bilder der Folge von Bildern jedoch in Abhängigkeit der bewegten Objekte vor dem unbewegten Gegenstand oder den unbewegten Gegenständen gewählt . Anders ausgedrückt bedeutet dies, je mehr bewegte Objekte den unbewegten Gegenstand zeitweise und/oder teilweise verdecken, desto größer muss die Anzahl der Bilder der Folge von Bildern sein, um zu einem zuverlässigen Ergebnis zu gelangen.
Die Erfindung und deren Vorteile werden nachfolgend anhand der Figuren näher erläutert. Es zeigen:
Figur la bis lc eine Folge von Aufnahmen mit einem statischen Gegenstand und einem bewegten Objekt,
Figur 2a bis 2c der jeweiligen Bildern zugeordnete Bildwerte, die einer weiteren statistischen Aus- wertung unterzogen werden, Figur 3 das mit dem erfindungsgemäßen Verfahren ermittelte Ergebnisbild aus der Folge von Bildern, und
Figur 4 ein Bildverarbeitungssystem.
Figur 1 zeigt eine Folge von Bildern, die aus der gleichen Perspektive zu unterschiedlichen Zeitpunkten hintereinander aufgenommen wurden. In jeder der Figuren la bis lc ist ein statischer Gegenstand 2 in Form von drei nebeneinander angeordneten Häusern zu erkennen. Im Vordergrund bewegt sich ein Kraftfahrzeug, welches ein bewegtes Objekt 3 darstellt, vom linken Bildrand in Richtung des rechten Bildrandes.
Die Anzahl n der Folge von Bildern ist prinzipiell beliebig, darf jedoch nicht geringer als 3 sein. Die Anzahl der Folge von Bildern bestimmt sich im Wesentlichen nach der Anzahl der bewegten Objekte, die einen statischen Gegenstand zeitweilig und/oder teilweise verdecken.
Die Figuren la bis lc zeigen, wie erwähnt, den Idealfall, in dem die Aufnahme der Folge von n Bildern aus der gleichen Perspektive erfolgt. Ist dies aus bestimmten Gründen nicht möglich, so müssen zunächst, z.B. mittels eines Blockmat- ching-Verfahrens zur Verschiebungs- oder Disparitätsschätzung übereinstimmende Bildausschnitte ausfindig gemacht werden. Zu diesem Zweck erfassen die Blockmatching-Verfahren die Verschiebung der statischen Gegenstände, oder allgemeiner des Bildhintergrundes, um die Verschiebung zu kompensieren. Nach Durchführung dieser aus dem Stand der Technik hinlänglich bekannten Verfahren liegen Bildausschnitte übereinstimmender Größe vor. Wird, wie dies in den Figuren la bis lc ersichtlich ist, ein Raster mit gleich großen Bildbereichen über ein jeweiliges Bild gelegt, so befinden sich korrespondierende Bildbereiche 5 der Folge von Bildern an der gleichen Position in dem Koordinatensystem. Jeder der Bildbereiche 5, die prinzipiell von beliebiger Größe sein können, wird mit einem Bildwert bewertet. Bevorzugt beträgt die Größe eines Bildbereiches einen Bildpunkt (Pixel) , da das Verfahren hierdurch die größte Genauigkeit er- zeugt. Der Bildwert kann die Helligkeit eines Bildbereiches darstellen. Als Alternative zur Luminanz können als Bildwert ein oder mehrere Farbwerte eines Bildbereiches bewertet und im Falle mehrerer Farbwerte überlagert werden.
Eine solche Bewertung mit einem Bildwert an der Stelle j längs der x-Achse jeweiliger Bilder ist in den Figuren 2a bis 2c dargestellt. Die dargestellten Bildwert-Verläufe sind lediglich beispielhaft für die Erklärung gewählt. Es wird dabei davon ausgegangen, dass der Bildwert bei einem Bild mit aus- schließlich statischen Gegenständen einen in etwa gleichmäßigen Verlauf aufweist. Durch das von links nach rechts sich bewegende Fahrzeug wird durch das Bildaufzeichnende Gerät ein geringerer Helligkeitswert verzeichnet. Die Bewegung des Fahrzeuges oder allgemein des bewegten Gegenstandes kann des- halb in der Bildwert-Verlaufskurve durch den von links nach rechts verlaufenden topfförmigen Abfall nachvollzogen werden.
Derartige Bildwert-Verläufe werden nicht nur an der Stelle j, sondern über die gesamte y-Achse ermittelt, so dass sich im Ergebnis statt einer Kurve eine Fläche in einem x-y- Koordinatensystem ergeben würde.
Die nun vorliegenden ermittelten Bildwerte werden schließlich mit einer Statistikfunktion - entweder einem Median-Operator oder einem Histogramm-Operator - beaufschlagt. Zu diesem
Zweck werden die Bildwerte aι,j eines jeden Bildbereiches 6a, 6b,... 6n der Folge von Bildern miteinander verglichen. Dieser Vergleich findet für jeden der Bildbereiche 5 der Folge von Bildern statt.
Aus den Figuren 2a bis 2c lässt sich nun gut erkennen, dass der Bildwert a(j) an der Stelle i zweimal den Wert des stati- sehen Gegenstandes und einmal den Wert des bewegten Objektes (Figur 2b) annimmt. Mit beiden genannten Statistik-Funktionen würde deshalb der in Figur 2a oder 2c dargestellte Bildwert a(j) als Ergebniswert elf-, verwendet werden.
Beim Verwenden eines Median-Operators werden die Bildwerte a-,,1, ... a-,,n der Größe nach geordnet und der Bildwert mit dem mittleren Index als Ergebniswert verwendet.
Im Gegensatz dazu wird bei einem Histogramm-Operator der häufigste Bildwert als Ergebnis weiter verarbeitet.
Aufgrund des unvermeidlichen Bildrauschens digitaler Bildaufzeichnender Geräte ist es dabei vorteilhaft als Vorverarbei- tungsschritt für jedes Bild der Folge von Bildern zunächst eine Reduktion des Bildrauschens, z.B. mittels einer Tiefpassfilterung oder einer Quantisierung, vorzunehmen.
Wird das beschriebene Vorgehen für jeden Bildbereich bzw. die korrespondierenden Bildbereiche der Folge von Bildern durchgeführt, so ergibt sich im Ergebnis das in Figur 3 gezeigte Bild, das um das bewegte Objekt des Fahrzeuges 3 bereinigt ist. Hierbei sei angemerkt, dass mit der in den Figuren la - lc und Figur 3 gezeigten Rasterung 4 die dargestellte Genau- igkeit sich nicht erreichen ließe. Dies ist lediglich dann möglich, wenn als Bildbereich ein Bildpunkt (Pixel) gewählt ist und jeder Bildpunkt mit Bildpunkten an korrespondierender Stelle der anderen Bilder der Folge von Bildern bewertet wird.
Das erfindungsgemäße Verfahren erzeugt somit aus verschiedenen Einzelbildern heraus ein lückenloses Bild des statischen Gegenstandes. Das erfindungsgemäße Verfahren kann beispielsweise in mobilen bildgebenden Endgeräten, wie z.B. Videohan- dy, PDAs, digitalen Kameras und dergleichen angewendet werden. Das Verfahren ermöglicht das Ausblenden verdeckter Ob- jekte, wie z.B. von Personen oder Fahrzeugen, vor den gewünschten aufzunehmenden statischen Gegenstand.
Ein Anwendungsgebiet betrifft z.B. die sogenannte "Augmented Reality", die eine Kombination realer und künstlicher Objekte ist. Zur Erstellung der virtuellen Welten ist es erforderlich, Panoramen natürlicher Umgebungen aufzunehmen, die dann als Bildhintergründe für diese dienen. In der natürlichen Umgebung befindliche Personen oder sonstige bewegliche Objekte können auf einfache Weise entfernt bzw. ausgefiltert werden.
Figur 4 zeigt in schematischer Form ein Bildverarbeitungssystem 10. Dieses weist ein Bildaufzeichnendes Gerät, wie z.B. eine Kamera, auf, die mit einem Speicher 12 verbunden ist. Der Speicher 12, der von beliebiger Art sein kann, dient zur Speicherung der Folge von Bildern, die mit dem Bildaufzeichnenden Gerät 11 aufgenommen wurden. Mit dem Speicher 12 ist weiterhin eine Auswerteeinheit 13 verbunden, die die in dem Speicher 12 abgelegten Bildern auslesen kann. Die Auswerte- einheit ist eingerichtet zur Durchführung des oben beschriebenen Verfahrens und gibt als Ergebnis z.B. an einem Monitor oder auch den Speicher 12 das um die bewegten Objekte bereinigte Ergebnisbild zurück. Bildaufzeichnendes Gerät und Auswerteeinheit 13 müssen nicht notwendigerweise, wie in der Fi- gur 4 dargestellt, unterschiedliche Geräte sein. Die Auswerteeinheit 13 kann vielmehr ebenso in dem Bildaufzeichnenden Gerät 11 selbst, wie auch der Speicher 12, enthalten sein.

Claims

Patentansprüche
1. Verfahren zum automatisierten, nachträglichen Entfernen von bewegten Objekten (3) aus einem mit einem Bildaufzeich- nenden Gerät aufgenommenen Bild, mit den Schritten: Aufnahme einer Folge von Bildern (la, lb, ..., In) mit zumindest einem unbewegten oder statischen Gegenstand (2) , der von zumindest einem bewegten Objekt (3) zeitweilig und/oder teilweise verdeckt ist, Bewerten korrespondierender Bildbereiche (6a, 6b, ..., 6n) der Folge von Bildern (la, lb, ..., In) mit jeweils einem Bildwert (a) , und Beaufschlagen der ermittelten Bildwerte (a) mit einer
Statistikfunktion, um aus der Folge von Bildern (la, lb,...ln) die Bildbereiche mit ausschließlich unbewegten Gegenständen
(2) ausfindig zu machen und zu einem Ergebnisbild zusammenzusetzen, das um die bewegten Objekte bereinigt ist.
2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass das Bewerten korrespondierender Bildbereiche (la, lb,..., In) mit einem jeweiligen Bildwert (a) iterativ erfolgt.
3. Verfahren nach Anspruch 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, dass die Statistikfunktion auf einen Median-Operator zurückgreift.
4. Verfahren nach Anspruch 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, dass die Statistikfunktion auf einen Histogramm-Operator zurückgreift.
5. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass als Bildwert die Helligkeit eines Bildbereichs (6) verwendet wird.
6. Verfahren nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t, dass als Bildwert ein oder mehrere Farbwerte eines Bildbereichs (6) bewertet und im Falle mehrerer Farbwerte überlagert wer- den.
7. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass die Aufnahme der Folge von Bildern (la, lb,..., In) aus der glei- chen Perspektive erfolgt.
8. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass nach der Aufnahme der Folge von Bildern (la, lb,..., In) das Bestimmen übereinstimmender Bildausschnitte der Folge von
Bildern erfolgt, so dass korrespondierende Bildbereiche aus unterschiedlichen Bildern in einem Koordinatensystem an der gleichen Position zum Liegen kommen.
9. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass als weiterer Verfahrensschritt für jedes Bild der Folge von Bildern (la, lb,..., In) eine Reduktion des Bildrauschens erfolgt .
10. Verfahren nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t, dass die Reduktion des Bildrauschens mittels einer Tiefpassfilterung erfolgt.
11. Verfahren nach Anspruch 9 oder 10, d a d u r c h g e k e n n z e i c h n e t, dass die Reduktion des Bildrauschens mittels einer Quantisierung der Bildbereiche erfolgt.
12. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass der Bildbereich (5) einen Bildpunkt (Pixel) darstellt.
13. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass die Anzahl der Bilder der Folge von Bildern (la, lb,...ln) in Abhängigkeit der bewegten Objekte (3) vor dem oder den unbewegten Gegenstand oder Gegenständen (2) gewählt wird,
14. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass die Folge von Bildern (la, lb, ...In) wenigstens drei Bilder umfasst.
15. Bildverarbeitungssystem (10) mit einem Bildaufzeichnenden Gerät (11) , einem mit diesem gekoppelten Speicher (12) zur
Speicherung einer Mehrzahl an Bildern, und einer Auswerteeinheit (13) , die auf die in dem Speicher gespeicherten Daten zugreifen kann, und die dazu eingerichtet ist, das Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.
16. Computerprogrammprodukt, das Codes zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 11 enthält.
PCT/EP2004/053510 2003-12-19 2004-12-15 Verfahren zum automatisierten, nachträglichen entfernen von bewegten objekten aus einem mit einem bildaufzeichnenden gerät aufgenommenen bild, bildverarbeitungssystem und computerprogrammprodukt WO2005062256A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10359928A DE10359928A1 (de) 2003-12-19 2003-12-19 Verfahren zum automatisierten, nachträglichen Entfernen von bewegten Objekten aus einem mit einem Bildaufzeichenden Gerät aufgenommenen Bild, Bildverarbeitungssystem und Computerprogrammprodukt
DE10359928.2 2003-12-19

Publications (1)

Publication Number Publication Date
WO2005062256A1 true WO2005062256A1 (de) 2005-07-07

Family

ID=34706367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/053510 WO2005062256A1 (de) 2003-12-19 2004-12-15 Verfahren zum automatisierten, nachträglichen entfernen von bewegten objekten aus einem mit einem bildaufzeichnenden gerät aufgenommenen bild, bildverarbeitungssystem und computerprogrammprodukt

Country Status (2)

Country Link
DE (1) DE10359928A1 (de)
WO (1) WO2005062256A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014901A3 (de) * 2009-08-06 2011-04-07 Florian Matusek Verfahren zur videoanalyse

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933604A (zh) * 2016-05-20 2016-09-07 珠海市魅族科技有限公司 一种图像获取的方法及终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HASE H ET AL: "Real-time snowfall noise elimination", IMAGE PROCESSING, 1999. ICIP 99. PROCEEDINGS. 1999 INTERNATIONAL CONFERENCE ON KOBE, JAPAN 24-28 OCT. 1999, PISCATAWAY, NJ, USA,IEEE, US, vol. 2, 24 October 1999 (1999-10-24), pages 406 - 409, XP010368992, ISBN: 0-7803-5467-2 *
HSU C-T ET AL: "Mosaics of video sequences with moving objects", SIGNAL PROCESSING. IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 19, no. 1, January 2004 (2004-01-01), pages 81 - 98, XP004476840, ISSN: 0923-5965, Retrieved from the Internet <URL:doi:10.1016/j.image.2003.10.001> [retrieved on 20050217] *
YAMASHITA A ET AL: "A virtual wiper - Restoration of deteriorated images by using multiple cameras", PROCEEDINGS OF THE 2003 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS. (IROS 2003). LAS VEGAS, NV, OCT. 27 - 31, 2003, IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, NEW YORK, NY : IEEE, US, vol. VOL. 4 OF 4, 27 October 2003 (2003-10-27), pages 3126 - 3131, XP010671183, ISBN: 0-7803-7860-1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014901A3 (de) * 2009-08-06 2011-04-07 Florian Matusek Verfahren zur videoanalyse

Also Published As

Publication number Publication date
DE10359928A1 (de) 2005-07-28

Similar Documents

Publication Publication Date Title
DE69628282T2 (de) Verfahren zur kompression mehrerer videobilder
DE19815861A1 (de) Verfahren und Vorrichtung für eine auf Blöcken basierende Bildverarbeitung
DE19531004C2 (de) Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten
DE2937282A1 (de) Anlage zur unterdrueckung von bildrauschen
DE102007034010A1 (de) Verfahren und Vorrichtung zur Bearbeitung von Videodaten
DE3603552C2 (de)
EP0897247A2 (de) Verfahren zur Berechnung von Bewegungsvektoren
WO2005062256A1 (de) Verfahren zum automatisierten, nachträglichen entfernen von bewegten objekten aus einem mit einem bildaufzeichnenden gerät aufgenommenen bild, bildverarbeitungssystem und computerprogrammprodukt
EP1279291B1 (de) Verfahren und vorrichtung zum speichern und bearbeiten von bildinformation zeitlich aufeinanderfolgender bilder
DE69833836T2 (de) Verfahren und Gerät zur massstäblichen Umformung von Bildern
EP1729258A2 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungsvektoren
DE102020109789A1 (de) Verfahren zum Durchführen einer Selbstlokalisierung eines Fahrzeugs auf der Grundlage einer reduzierten digitalen Umgebungskarte, Computerprogrammprodukt sowie ein Selbstlokalisierungssystem
WO1991012584A2 (de) Verfahren zur bestimmung der momentanen lage und form von bewegten objekten und zu deren anzeige als binärbild
WO2019057473A1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
EP0614555B1 (de) Verfahren zur segmentierung eines zusammenhängenden gebietes mit diffuser berandung in einem monochromen rasterbild
DE19938845A1 (de) Vidiobild-Überwachungsverfahren
DE102019201673B3 (de) Verfahren und Anordnung zum Auswählen einer Farbmodellumrechnung für eine Bildkompression
EP0496051B1 (de) Verfahren zur Ermittlung von Bewegungsvektoren für die Übertragung von digitaler Bildinformation
EP0786186A1 (de) Segmentadaptive zweidimensionale orthogonale transformationskodierung für ein digitales fernsehsystem
DE3917085C2 (de) Schaltungsanordnung zur Filterung eines Videosignals
WO2020187695A1 (de) Reduzierung von videomaterial auf bewegungsabschnitte
DE60221075T2 (de) Verfahren zur Sequenzierung von Videoinformationen
EP1192799B1 (de) Verfahren, system und computerprogramm zum komprimieren und übertragen von bildrasterdaten
DE10238576B4 (de) Bildbearbeitungsverfahren
DE102011016094A1 (de) Verfahren zur Anpassung von Bildern mit unterschiedlicher Aufnahme- und Belichtungsdynamik

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase