WO2020119997A1

WO2020119997A1 - Verfahren zur bestimmung einer relativbewegung mittels einer digitalen bilderfolge

Info

Publication number: WO2020119997A1
Application number: PCT/EP2019/079550
Authority: WO
Inventors: Philip Lenz; Alexander Lengsfeld; Joern Jachalsky; Marcel Brueckner
Original assignee: Robert Bosch Gmbh
Priority date: 2018-12-13
Filing date: 2019-10-29
Publication date: 2020-06-18
Also published as: JP7337165B2; EP3895123A1; JP2022515046A; US20210350548A1; CN113168703A; KR20210102343A; US11989889B2; DE102018221617A1

Abstract

Verfahren zur Bestimmung einer Relativbewegung einer Einrichtung (10) zu zumindest einem Objekt, basierend auf einer, vom Ort der Einrichtung erfassten, digitalen Bilderfolge des Objektes, wobei das Verfahren die folgenden Schritte umfasst: -Berechnung einer Vielzahl von optischen Flussfeldern (S2) aus Bilderpaaren der digitalen Bilderfolge (S1), wobei die Bilderpaare aus einem aktuellsten Bild und Bildern der Bilderfolge mit unterschiedlichen Zeitintervallen zu diesem aktuellsten Bild gebildet werden; -Orten mindestens eines Objektes (S3) in einem Teilbildbereich im jeweils aktuellsten Bild und Zuordnen dieses Teilbildbereiches zu dem Objekt; -Bilden einer Vielzahl von optischen Teilflussfeldern aus der Vielzahl der optischen Flussfelder (S4), wobei ein jeweiliges Teilflussfeld aus einer Schnittmenge eines der Flussfelder der Vielzahl von Flussfeldern mit dem Teilbildbereich des aktuellsten Bildes der Bilderfolge resultiert; -Auswahl mindestens eines der Teilflussfelder (S5) aus der Vielzahl der Teilflussfelder entsprechend mindestens einem Kriterium, um die Schätzung einer Skalenänderung des Objektes zu fördern; und -Schätzung der Skalenänderung für das mindestens eine Objekt (S6) mittels des zugeordneten Teilbildbereiches basierend auf dem mindestens einen ausgewählten Teilflussfeld.

Description

Beschreibung

Titel:

Verfahren zur Bestimmung einer Relativbewegung mittels einer digitalen Bilderfolge

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Relativbewegung einer Einrichtung zu zumindest einem Objekt mittels einer digitalen Bilderfolge.

Fahrerassistenzsysteme erfassen Szenarien mit Hilfe von elektronischen Systemen, die z. B. mittels Radar, Lidar, Ultraschall oder Kamerasystemen Daten aufnehmen und verarbeiten, um kennzeichnende Parameter über

Relativbewegungen solcher Einrichtungen gegenüber anderen Objekten zu berechnen. Die Verarbeitung der Daten kann, auch abhängig von dem

verwendeten elektronischen System, auf der Grundlage von dreidimensionalen oder zweidimensionalen Modellen erfolgen. Bei einem Radarsystem, das systembedingt Entfernungen erfasst, bietet sich ein dreidimensionales Modell zur Analyse an.

Stand der Technik

Bei monokularen digitalen Kamerasystemen kann die scheinbare Bewegung des Objekts in einer Bilderfolge anhand zweidimensionaler Bildkoordinaten analysiert werden. Eine Relativbewegung einer Einrichtung zu zumindest einem Objekt kann z. B. anhand von Skalierungsänderung von Objektdetektionen erfolgen oder auf einer Skalenänderungsschätzung eines optischen Flusses aus den Bildsequenzen basieren.

Dabei unterliegt die Schätzung der Relativbewegung über die

Skalierungsänderung von Objektdetektionen einer Reihe von Ungenauigkeiten, wie z. B. der oft fehlerbehafteten Annahme bekannter und fester Objektbreiten oder es entstehen Ungenauigkeiten aufgrund der Variation der Ausdehnung des Objektes in aufeinanderfolgenden Kamerabildern. Bei der Skalenänderungsschätzung mittels des optischen Flusses, muss der zum Zielobjekt gehörende optische Fluss aus den Flussfeldern selektiert werden, was über eine Bewegungssegmentierung erfolgen kann. Die

Bewegungssegmentierung des optischen Flusses ist ein nicht triviales und rechenintensives Problem. Insbesondere für eingebettete Systeme im

Automobilbereich ist die notwendige Rechenkapazität oftmals nicht verfügbar.

Die resultierenden Ergebnisse sind typischerweise stark rauschbehaftet, so dass anschließende Berechnungen eine großen Menge von Ausreißern behandeln müssen.

Aus solchen Skalierungsänderungen kann, als ein kennzeichnender Parameter, dann z. B. eine Kollisionszeit TTC (Time-to-collision oder time-to-contact) vor allem zwischen Fahrzeugen abgeleitet werden.

Dabei wird typischerweise die optische Flussschätzung mit festem Zeitintervall über das gesamte Bild berechnet.

Die DE10 2011 006 629 Al beschreibt ein Verfahren zur Bestimmung der Kollisionszeit eines mit einem Videosystem ausgerüsteten Fahrzeuges anhand einer Auswertung von Videobildern der Fahrzeugumgebung, wobei ein

Kollisionsparameter TTC zur Bestimmung der Kollisionszeit des Fahrzeuges mit irgendeinem Teil der Fahrzeugumgebung berechnet wird. Die Berechnung des Kollisionsparameters TTC erfolgt mittels der Integration der Expansionsrate des optischen Flussfeldes der gesamten, vom Videosystem aufgenommenen Fahrzeugumgebung im Videobild. Ferner betrifft die Erfindung ein

Fahrzeugführungssystem zur Durchführung des erfindungsgemäßen Verfahrens.

Aufgabe der Erfindung ist es, ein Verfahren zur Bestimmung einer

Relativbewegung einer Einrichtung zu zumindest einem Objekt mittels einer digitalen Bilderfolge anzugeben, mit dem mit wenig Rechenleistung eine hohe Genauigkeit bei der Schätzung der Relativbewegung erreichbar ist und das es weiterhin ermöglicht, aus einem Maß für die geschätzten Relativbewegung andere kennzeichnende Parameter der Relativbewegungen zu berechnen

Offenbarung der Erfindung

Erfindungsgemäß wird ein Verfahren, ein System sowie ein

Computerprogrammprodukt und ein computerlesbares Speichermedium zur Bestimmung einer Relativbewegung einer Einrichtung zu zumindest einem Objekt, basierend auf einer, vom Ort der Einrichtung erfassten, digitalen

Bilderfolge des Objektes gemäß den Merkmalen der unabhängigen Ansprüche angegeben, welches zumindest zum Teil die genannten Wirkungen aufweist. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.

Die Erfindung beruht auf der Erkenntnis, dass von der Einrichtung weiter entfernte Objekte sich in einem Bild einer Bilderfolge, das z. B. mit einer Kamera perspektivisch erfasst wurde, kleiner abbildet als nahe Objekte. Daher werden erfindungsgemäß optische Flussfelder aus Bilderpaaren einer solchen Bilderfolge mit unterschiedlichen zeitlichen Intervallen zueinander und mit unterschiedlicher Größe berechnet, wobei die Teilfläche auf den Bildern, in der sich das Objekt abbildet, berücksichtigt wird. Diese Teilfläche, in der sich das Objekt abbildet, kann auch auch als„bounding box“ oder als„region of interest ROI“ bezeichnet werden. Anschließend werden aus einer Vielzahl von Flussfeldern geeignete Flussfelder, zur Bestimmung von Relativbewegungen, anhand von Kriterien ausgewählt, die die Zuverlässigkeit und Genauigkeit dieser Schätzung verbessern.

Bei dem erfindungsgemäße Verfahren wird eine Relativbewegung einer

Einrichtung zu zumindest einem Objekt, basierend auf einer, vom Ort der Einrichtung erfassten, digitalen Bilderfolge des Objektes bestimmt. Bei der Einrichtung kann es sich als ein Beispiel um ein Kraftfahrzeug handeln, das selbst eine Bewegung relativ zu einem Untergrund aufweist. Die Einrichtung kann aber auch stationär sein, relativ zu der sich ein Objekt wie z. B. ein

Kraftfahrzeug bewegt.

Für diese Bestimmung wird eine Vielzahl von optischen Flussfeldern, aus Bilderpaaren der digitalen Bilderfolge berechnet, wobei die Bilderpaare aus einem aktuellsten Bild und Bildern der Bilderfolge mit unterschiedlichen

Zeitintervallen zu diesem aktuellsten Bild gebildet werden. Dabei beschreibt der optische Fluss die Verschiebung der zu einem Zeitpunkt i aufgenommenen Bildpunkte eines Objektes in einem Bild einer Bildfolge, in Bezug zu den zum Zeitpunkt j aufgenommenen Bildpunkten, anhand von Flussvektoren, die den aktuellen Bildpunkten zugeordnet werden und so das optische Flussfeld definieren. Weiterhin wird bei dem erfindungsgemäßen Verfahren das mindestens eine Objekt, dessen Relativbewegung bestimmt werden soll, im jeweils aktuellsten Bild in einem Teilbildbereich der digitalen Bilderfolge geortet und dieser

Teilbildbereich wird dem Objekt zugeordnet. Somit wird eine Region für jedes Bild in der Bilderfolge identifiziert, in der das Objekt detektiert wurde, und für die weiteren Berechnungen reicht es, diesen Teilbildbereich ROI (englisch: region of interest), der das Objekt charakterisiert, zu betrachten. Typischerweise wird dem Objekt dafür ein rechteckiger Bereich zugeordnet, der weitgehend

deckungsgleich mit dem Objekt ist. Alternativ kann der Teilbildbereich auch aus einer sogenannten„semantischen Segmentierung“ abgeleitet werden. In einer weiteren Ausgestaltung der Erfindung kann die Ortung des mindestens einen Objektes nur für ausgewählte Bilder der Bilderfolge erfolgen. Wenn mehre Objekte im jeweils aktuellsten Bild geortet werden, können, über die Zuordnung von einem Teilbildbereich zu einem Objekt, die Objekte durch das gesamte Verfahren hindurch, mittels der zugeordneten Teilbildbereiche, verfolgt werden,

Aus der Vielzahl der optischen Flussfeldern wird eine Vielzahl von optischen Teilflussfeldern gebildet, wobei ein jeweiliges Teilflussfeld als Schnittmenge eines der Flussfelder der Vielzahl von Flussfeldern mit dem Teilbildbereich des aktuellsten Bildes der Bilderfolge resultiert.

Dabei basiert die Berechnung des Flussfeldes auf dem aktuellsten Bild der Bildfolge und das Flussfeld wird mit dem anderen Bild des Bildpaares berechnet, das das entsprechende Zeitintervall zu dem aktuellen Bild aufweist. Das Objekt wurde in dem Teilbildbereich im aktuellen Bild geortet und die Schnittmenge dieses Teilbildbereiches des Bildes mit dem Flussfeld, das auf Basis dieses aktuellsten Bildes berechnet wurde, bestimmt das Teilflussfeld, das dem

Flussfeld zugeordnet wird.

Aus dieser Vielfalt der Teilflussfelder wird mindestens ein Teilflussfeld entsprechend mindestens einem Kriterium ausgewählt, um die Schätzung einer Skalenänderung des Objektes zu fördern.

Die Schätzung der Skalenänderung für das mindestens eine Objekt wird, basierend auf dem mindestens einen ausgewählten Teilflussfeld, durchgeführt. Für die Schätzung der Skalenänderung werden Paare von Flussvektoren gebildet, mittels derer die Skalierungsänderung berechnet wird. Somit ist es förderlich für die Skalenschätzung, wenn ein geeignetes Teilflussfeld ausgesucht wird, denn auf diesem Teilflussfeld basiert die Skalenschätzung. Wenn in der Bilderfolge mehrere Objekte geortet werden, wird das Verfahren für jedes Objekt durchgeführt. D. h. für jedes Objekt wird anhand der Kriterien ein geeignetes Teilflussfeld ausgewählt. Dazu erfolgt für jedes Objekt bzw. für jeden zugehörigen Teilbildbereich über die Zuordnung eine eindeutige Kennzeichnung.

Mit diesem Verfahren wird erreicht, dass für die Schätzung der Skalenänderung von Objekten, die sich in unterschiedlicher Entfernung von der Einrichtung befinden und sich somit unterschiedlich in den Bildern der Bilderfolge abbilden, das Teilflussfeld entsprechend vordefinierter Kriterien herausgesucht werden kann, das das geeignetste ist.

Die Güte der Skalierungsberechnung wird also durch die Auswahl des geeignetsten optischen Teilflussfeldes, aus unterschiedlichen Zeitintervallen verbessert. Denn wenn sich z. B. ein Objekt in größerer Entfernung von der Einrichtung befindet, kann über die Auswahl z. B. eines Flussfeldes mit einem größeren Zeitintervall zwischen den Bildern eines entsprechenden Bilderpaars ein längerer Flussvektor zur Schätzung benutzt werden. Für die Schätzung der Skalenänderung kann also zu einem Zeitpunkt i ein anderes Zeitintervall für die Berechnung des optischen Flusses verwendet werden als zum Zeitpunkt j.

Gemäß einer Ausgestaltung der Erfindung wird vorgeschlagen, dass das

Kriterium zur Auswahl eines Teilflussfeldes der Grad der Überdeckung des Teilbildbereiches mit dem berechneten Flussfeld berücksichtigt. Damit wird sichergestellt, dass das Objekt sich in einem Bildbereich, innerhalb des berechneten Flussfeldes befindet und ein ausreichender Anteil des Objektes, das durch den Teilbildbereich repräsentiert wird, berücksichtigt werden kann. Dies ist vor Allem dann wichtig, wenn z. B. für die Verringerung des Rechenaufwandes das Flussfeld nicht für die gesamte Fläche der Bilder der Bilderfolge berechnet wird. Dies wird im Folgenden noch näher ausgeführt. Zusätzlich oder auch alternativ kann das Kriterium eine absolute Größe der Schnittmenge des

Teilbildbereiches mit dem berechneten Flussfeld berücksichtigten, da ggf. diese Überdeckungsfläche, die aus dieser Schnittfläche gebildet wird so groß, dass die Flussvektoren, die sich innerhalb dieser Überdeckung befinden für eine

Schätzung der Skalenänderung ausreichen.

Gemäß einer weiteren Ausgestaltung der Erfindung wird vorgeschlagen, dass das Kriterium zur Auswahl eines Teilflussfeldes eine Größe eines Signal-Rausch- Verhältnis von Flussvektoren des Teilflussfeldes und zusätzlich oder alternativ ein Qualitätsmaß aus der Berechnung der Flussvektoren berücksichtigt. Dabei wird eine Verlässlichkeit in die Qualität des Teilflussfeldes entweder durch ein ermitteltes Signal- Rausch- Verhältnis der Flussvektoren oder auch durch einen Qualitätswert gegeben, der bei der Berechnung der Flussvektoren ermittelt wurde. Weiterhin kann das Kriterium zur Auswahl eines Teilflussfeldes zusätzlich oder alternativ die Anzahl der der Flussvektoren im Teilflussfeld und/oder die Länge der Flussvektoren des Teilflussfeldes berücksichtigen. Dabei bestimmt sich die Gültigkeit von Flussvektoren selbst im Wesentlichen am Signal- Rausch- Verhältnis sofern kein anderes Qualitätsmaß verfügbar ist. Je höher die Anzahl solcher Flussvektoren ist, um so sicherer und robuster ist die Schätzung der Skalenänderung. Entsprechend kann die Länge der Flussvektoren die Schätzung der Skalenänderung in gewissem Maße verbessern.

Gemäß einer weiteren Ausgestaltung der Erfindung wird vorgeschlagen, dass das Kriterium zur Auswahl eines Teilflussfeldes eine Detektionsgüte der Ortung des Objektes im Teilbildbereich des Bildes der Bilderfolge berücksichtigt. Sofern die Ortung eines Objektes in einem Teilbereich eines Bildes sicher vorliegt, werden im Teilflussfeld auch die richtigen Flussvektoren ausgewählt, was die Schätzung verbessert.

Zusätzlich oder als Alternative kann das Kriterium auch Charakteristika der Bildbereiche in der Schnittmenge von Teilbildbereich und dem berechneten Flussfeld liegt, berücksichtigen. Damit gehen auch die Eigenschaften eines Bildes der Folge von Bildern in die Auswahl der Teilflussfelder ein, die einen offensichtlichen Einfluss auf die Qualität z. B. der Flussvektoren haben. Dabei kann es sich um Kontraste, die Homogenität, die Grauwertverteilung, Gradienten oder auch komplexere Merkmale wie ein jHistogramm of oriented gradients HOG, bei dem die Verteilung lokaler Intensitäten oder die Anordnung von Kanten bewertet werden, und ähnliche die Aussagekraft des Bildes charakterisierende Größen handeln.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens wird vorgeschlagen, dass

das Kriterium zur Auswahl eines Teilflussfeldes die Erfüllung der Ungleichung:

FV > alpha * (SZ / SZMAX) * FVMAX voraussetzt und zusätzlich die Größe des Zeitintervalls, mit dem das Teilflussfeld berechnet wurde, berücksichtigt. Dieses Kriterium bewertet vornehmlich die Anzahl der Flussvektoren im Teilflussfeld im Vergleich zu der Anzahl in den anderen Teilflussfeldern ab. Die Ableitung dieser Formel erfolgt weiter unten in dieser Beschreibung. Die Größe des Zeitintervalls wird in der Weise

berücksichtigt, dass das Teilflussfeld, das mit dem größeren Zeitintervall berechnet wurde, aus der Vielfalt der Teilflussfelder bevorzugt wird.

Gemäß einer Ausgestaltung der Erfindung wird vorgeschlagen, dass die Berechnung der Vielzahl von optischen Flussfeldern aus einem Bildausschnitt der Bilder der Bilderpaare erfolgt, wobei der Bildausschnitt eine Teilfläche der jeweiligen Bilder darstellt.

So wird bei einer Anwendung des Verfahrens bei dem das Objekt z. B. ein Fahrzeug ist, das sich auf einem Untergrund vor der Einrichtung relativ zu der Einrichtung bewegt, in einer größeren Entfernung von der Einrichtung in einem anderen Bildausschnitt eines Bildes einer Bilderfolge dargestellt, als ein Objekt, welches sich in einem Nahbereich vor der Einrichtung befindet.

Dadurch wird ermöglicht, schon bei der Berechnung der optischen Flussfelder die zu beobachtende Szene auszuwählen und damit Berechnungsaufwand zu sparen, da die Berechnung des Flussfeld auf einer eingeschränkten Bildfläche erfolgt. Damit kann z. B. eine Abbildung des Himmels auf der Bilderfolge ausgeblendet werden oder wenn das zu schätzende Objekt im Nah- oder Fernbereich der Einrichtung erwartet wird kann der Bildausschnitt entsprechend gewählt werden.

Gemäß einer die Erfindung verbessernden Ausgestaltung wird vorgeschlagen, dass

die Berechnung der Vielzahl von optischen Flussfeldern für mindestens zwei unterscheidbare Bildausschnitte der Bilder der Bilderpaare und mit jeweils unterschiedlichen Zeitintervallen durchgeführt wird.

Diese Zuordnung von dem jeweiligen Bildausschnitt zu einem Zeitintervall für die Berechnung der Flussfelder ermöglicht für die entsprechenden Bildbereiche, in denen Objekte aus unterschiedlichen Entfernungen vor der Einrichtung abgebildet werden, die für diesen Bereich relevanten Zeitintervallen

heranzuziehen und damit den Berechnungsaufwand ohne Qualitätseinbußen zu verringern. Denn die kleineren Teilbildbereiche von entfernten Objekten erfordern längere Zeitintervalle für eine robuste Schätzung und im Nahbereich sind kurze Zeitintervalle für die entsprechende rechtzeitige Reaktion erforderlich. Somit wird also sowohl Rechenaufwand eingespart als auch angepasste Berechnungen durchgeführt.

Gemäß einer weiteren Ausgestaltung der Erfindung wird vorgeschlagen, dass die mindestens zwei unterscheidbaren Bildausschnitte in Bezug auf ihre Anordnung und Größe auf den Bildern der Bildpaare entsprechend perspektivischer Aspekte, für die Ortung von Objekten in unterschiedlicher Entfernung von der Einrichtung, angeordnet sind.

Der Teilbildbereich eines Bildes in dem entfernte Objekte vor der Einrichtung abgebildet werden ist deutlich kleiner als bei Objekten im Nahbereich vor der Einrichtung, sofern sich die Objekte auf einer im wesentlichen Ebenen Fläche vor der Einrichtung bewegen. Berücksichtigt man diese perspektivischen

Verhältnisse kann z. B. ein Bildausschnitt für entferntere Objekte kleiner und weiter in Richtung auf die obere Kante der Bilder der Bilderfolge gelegt werden, als ein Bildausschnitt für Objekte im Nahbereich der Einrichtung.

Gemäß einer Ausgestaltung der Erfindung wird vorgeschlagen, dass die mindestens zwei Bildausschnitte durch ihre flächenmäßige Ausdehnung unterscheidbar sind, der kleinere Bildausschnitt vollständig innerhalb des größeren Bildausschnittes angeordnet ist und das jeweils zugeordnete

Zeitintervall zur Berechnung der Flussfelder größer ist, je kleiner der

Bildausschnitt ist.

Mit dieser Ausgestaltung der Erfindung wird sowohl der Vorteil aus der perspektivischen Betrachtung als auch das für die Schätzung der

Skalenänderung günstige längere Zeitintervall kombiniert.

Gemäß einer Ausgestaltung der Erfindung wird vorgeschlagen, dass die

Berechnung einer Vielzahl von optischen Flussfeldern aus Bildausschnitten der Bilderpaare berechnet werden, wobei die Bildausschnitte und/oder die

Zuordnung der Bildausschnitte zu Zeitintervallen der Bilderpaare jeweils nach der Erfassung der jeweiligen Bilderfolge festgelegt werden.

Damit wird ermöglicht, dass im laufenden Verfahren z. B. aufgrund von

Informationen vom der Ortung von Objekten die zur Berechnung der Flussfelder herangezogenen Parameter wie z. B. die Lage, die Größe und das zugeordnete Zeitintervall angepasst werden kann.

Erfindungsgemäß wird außerdem ein Computerprogrammprodukt angegeben, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren auszuführen.

Erfindungsgemäß wird weiterhin ein Computerlesbares Speichermedium angegeben, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren auszuführen.

Die Erfindung gibt außerdem ein System zur Bestimmung einer Relativbewegung des Systems zu zumindest einem Objekt an. Dieses System weist eine

Vorrichtung zur Erfassung von digitalen Bilderfolgen von Objekten auf. Eine solche Vorrichtung zur Erfassung von digitalen Bilderfolgen kann z. B. eine digitale Kamera, eine digitale Videokamera sein. Weiterhin weist das System eine Auswerteeinheit auf, die so mit der Vorrichtung gekoppelt ist, dass die Bilderfolgen an die Auswerteeinheit übergeben werden. Dies kann z. B. mit einem Bussystem erfolgen, welches die Vorrichtung zur Erfassung von digitalen Bilderfolgen mit der Auswerteeinheit koppelt. Dabei ist die Auswerteeinheit eingerichtet, das oben beschriebene erfindungsgemäße Verfahren

durchzuführen und das Ergebnis des Verfahrens an einem Ausgang der Auswerteeinheit bereitzustellen.

Ausführungsbeispiele der Erfindung sind in den Figuren 1 und 2 dargestellt und werden im Folgenden näher erläutert. Es zeigt:

Figur 1 ein Flussdiagramm eines Verfahren zur Bestimmung einer

Relativbewegung einer Einrichtung zu zumindest einem Objekt;

Figur 2 System zur Bestimmung einer Relativbewegung einer Einrichtung zu zumindest einem Objekt.

In der Figur 1 werden in dem Flussdiagramm 10 die Verfahrensschritte zur Bestimmung einer Relativbewegung einer Einrichtung zu zumindest einem Objekt dargestellt. Für das Verfahren sind eine Folge von digitalen Bildern sowohl für die

Berechnung eines Flussfeldes {U(x,y,x)} S2 als auch für die Ortung eines Objektes S3 bereit gestellt Sl.

Im Schritt S2 des Ausführungsbeispiels des erfindungsgemäßen Verfahrens wird eine Vielzahl von optischen Flussfeldern {U(x,y,x)} berechnet. Dabei wird jedes Flussfeld {U(x,y,x)}, aus einer Menge von Flussvektoren U gebildet, die jeweils den Koordinaten x und y eines Bildes zugeordnet sind. Die Flussvektoren U werden aus Bilderpaaren der Folge von digitalen Bildern mit einem Zeitintervall x berechnet. Dabei werden die einzelnen Flussfelder {U(x,y,x} mit einer Vielzahl unterschiedlicher Zeitintervalle t: i. .h aus einem aktuellsten Bild und Bildern der Bilderfolge berechnet.

Der Schritt S7 ist eine optionale Ausgestaltung des Ausführungsbeispiels. Der Schritt S7 wird dem Schritt S2, der Berechnung einer Vielzahl von Flussfeldern, vorgelagert. Dabei wird der Berechnung der Vielfalt des optischen Flussfeldes in S2 nur ein Bildausschnitt der Bilder der Bilderpaare zugrunde gelegt, wobei der Bildausschnitt also eine Teilfläche der jeweiligen Bilder darstellt. In dem Schritt S7 wird also für die Vielzahl von Flussfeldberechnungen die Festlegung von einem kleinerer Bildausschnitt bereitgestellt, wie in Figur 1 im Schritt S7 skizziert ist.

Wie schon vorher dargestellt, kann damit ein Bereich, wie z. B. ein Himmel, aus einem Bild ausgeblendet werden, der für die Schätzung der Skalenänderung nicht relevant ist, wodurch der Rechenaufwand vermindert wird.

In einer weiteren alternativen Ausgestaltung der Erfindung wird im Schritt S7 für die Berechnung der Vielzahl von optischen Flussfeldern im Schritt S2 vorgegeben, dass zu unterscheidbaren Bildausschnitten der Bilder der

Bilderpaare jeweils unterschiedliche Zeitintervallen vorgegeben werden.

Diese Berechnung der Vielfalt von Flussfeldern S2 kann mit einer beliebigen Anzahl von Bildausschnitten und zugehörigen Zeitintervallen erfolgen. Wie schon vorher dargestellt wird damit ermöglicht, dass Objekte mit ihrem Teilbildbereich, die aus perspektivischen Gründen in der Ferne kleiner dargestellt werden, über einen kleineren Bildausschnitt schon bei der Flussfeldberechnung vollständig erfasst werden. Somit wird der Rechenaufwand für die Berechnung der

Flussfelder verringert und, durch die mögliche Zuordnung von längeren Zeitintervallen für fernere Objekte, die Genauigkeit der Schätzung der

Skalenänderung verbessert. Im Nahbereich, in dem ein Teilbildbereich des Objektes größer dargestellt wird, kann dann für die Verbesserung der

Reaktionszeit das Zeitintervall kleiner gewählt werden.

Sofern die Bildausschnitte so angeordnet sind, dass der Teilbildbereich, der mit dem georteten Objekt verbunden ist, mehrere Bildausschnitte überdeckt, kann auch die Schätzung aus einem Bildausschnitt mit der Schätzung aus einem anderen Bildausschnitt verglichen werden.

In einer typischen Anwendung in einem Kraftfahrzeug können z. B. drei

Bildausschnitte unterschiedlicher Größe zentriert und ineinander geschachtelt angeordnet sein und dabei dem kleinsten Bildausschnitt das längste Zeitintervall zugeordnet werden, dem größten das kleinste Zeitintervall und dem mittleren Bildausschnitt ein Zeitintervall zugeordnet werden, dass zwischen den beiden anderen Zeitintervallen liegt.

So ermöglicht das erfindungsgemäße Verfahren sowohl für Objekte im Nah- als auch im Fernbereich eine robuste und genaue Schätzung der Skalenänderung, die auch anderen Gegebenheiten angepasst werden kann.

Im Schritt S3 wird zumindest ein Objekt in einem Teilbildbereich eines Bildes der Folge von Bildern geortet und das jeweilige Objekt wird einem Teilbereich zugeordnet. Das Ergebnis der Ortung S3 ist ein Teilbildbereich eines Bildes der Folge von Bildern, in dem das Objekt geortet wurde und dem es zugeordnet wurde.

Im Schritt S4 resultiert jeweils ein Teilflussfeld aus einer Schnittmenge eines berechneten Flussfeldes {U(x,y,x)} mit dem mindestens einen Teilbildbereich, woraus mit der Vielzahl der berechneten Flussfelder {U(x,y,x)} eine Vielzahl von Teilflussfeldern gebildet werden. Dabei ist jedes Teilflussfeld mit dem für die Bestimmung dieses Flussfeldes {U(x,y,x)} verwendeten Zeitintervall

charakterisiert.

Im Schritt S5 wird aus dieser Vielzahl von Teilflussfeldern ein Teilflussfeld entsprechend einem Kriterium ausgewählt, wobei durch die Auswahl nach einem geeigneten Kriterium die Schätzung einer Skalenänderung des Objektes gefördert wird. Die Kriterien für diese Selektion mindestens eines geeignetes Teilflussfeldes aus der Vielzahl von Teilflussfeldern basieren zum einen aus notwendigen

Bedingungen, um aus einem Teilflussfeld eine Skalenänderung zu schätzen, zum anderen aus Qualitätsbetrachtungen für die Möglichkeit einer robusten und genauen Schätzung der Skalenänderung.

Eine notwendige Bedingung für eine Skalenschätzung mittels eines

Teilflussfeldes ist eine Mindestgröße der Schnittmenge zwischen dem

berechneten Flussfeld {U(x,y,x)} und dem Teilbildbereich in dem das Objekt, wie z. B. ein Kraftfahrzeug, geortet wurde. D. h. die Schnittmenge zwischen dem Teilbildbereich und dem Bildausschnitt muss eine, z. B. empirisch bestimmte, Mindestgröße für eine robuste Schätzung der Skalenänderung aufweisen. Bei dieser empirischen Bestimmung kann auch ein Kompromiss zwischen Robustheit der Schätzung und der aufzuwendenden Rechenzeit Berücksichtigung finden.

Außerdem ist für die Schätzung einer Skalenänderung notwendig, dass diese Schnittmenge zwischen dem berechneten Flussfeld {U(x,y,x} und dem

Teilbildbereich eine für die Schätzung der Skalenänderung ausreichende Anzahl von Flussvektoren aufweist, mittels derer die Schätzung der Skalenänderung erfolgt. Bei der Bestimmung einer ausreichenden Anzahl an Flussvektoren können auch Qualitätskriterien, wie das Signal- Rausch- Verhältnis oder

Qualitätsfaktoren aus der Flussvektorberechnung, herangezogen werden.

Die Qualitätskriterien für die Auswahl eines Teilflussfeldes können sich auf die Flussvektoren der Teilflussfelder, auf Merkmale der Objektdetektion im

Teilbildbereich und auf Merkmale im Bildausschnitt beziehen.

Das Qualitätsmaß zur Auswahl eines Teilflussfeldes bezieht sich insbesondere auf die

Anzahl der Flussvektoren im betrachteten Teilflussfeld, bzw. wie dicht das Teilflussfeld mit Flussvektoren besetzt ist, und die Qualitätsgröße der

Flussvektoren, sofern es vom der Berechnungsalgorithmus der Flussvektoren ermittelt und zur Verfügung gestellt wird. Die Bereitstellung der Qualitätsgröße der Flussvektoren kann über einen optionale Datenaustausch VI zwischen der Berechnung der Vielfalt der Flussfelder im Schritt S2 und der Auswahl im Schritt S5 erfolgen. Weiterhin können sich Qualitätskriterien auf Merkmale des Teilbildbereiches beziehen, die aus der Ortung des mindestens einen Objektes resultieren.

Darunter fallen die Detektionsgüte oder Sicherheit bzw. Wahrscheinlichkeit der Ortung.

Für die Berücksichtigung von Qualitätskriterien aus der Objektdetektion, bei der Auswahl im Schritt S5, kann ein optionaler Datenaustausch V2 zwischen der Objektdetektion im Schritt S3 und der Auswahl von Teilflussfeldern im Schritt S5 erfolgen.

Merkmale aus dem Bereich der Überdeckung zwischen dem Teilbildbereich und dem berechneten Flussfeld, wie z.B. Kontrast, Grauwertverteilung, Gradienten, die Anwesenheit von spezifischen Merkmalen oder auch Eigenschaften, die aus einem jHistogramm of oriented gradients HOG resultieren, d. h. einer Betrachtung der Verteilung lokaler Intensitäten oder der Anordnung von Kanten, können optional in die Qualitätsbetrachtung mit einbezogen werden.

Darüber hinaus können neben dieser einfachen Heuristik auch komplexere Verfahren wie automatisierte oder gelernte Klassifikatoren, die z. B. aus dem „machine learning“ (z.B. decision trees) oder„deep learning“ z. B.„offline“ ermittelt werden, zur Auswahl des geeignetsten Teilflussfeldes herangezogen werden.

Abhängig von der Anwendung des erfindungsgemäßen Verfahrens und dem zur Verfügung stehenden Rechenbudget, können einzelne dieser Kriterien oder auch alle Kriterien zur Auswahl des geeignetsten Teilflussfeldes angewendet werden.

Im Folgenden ist ein Beispiel für eine Auswahl mindestens eines Teilflussfeldes, zur Schätzung einer Skalenänderung des Objektes aus der Vielfalt der

Teilflussfelder und die verwendeten Kriterien dargestellt.

Jedes Teilflussfeld, für das das Verhältnis der Überdeckungsfläche SZ der Schnittmenge aus Teilbildbereich und Bildausschnitt zur Gesamtfläche des Teilbildbereiches über einem gewissen Schwellwert von z.B. 0,75 beträgt oder für das die

Überdeckungsfläche SZ, d. h. der Schnittmenge aus Teilbildbereich und dem berechneten Flussfeld, über einer gewissen Mindestgröße liegt, wird für den Auswahlprozess berücksichtigt. Für die so ausgewählten Teilflussfelder wird dann die Anzahl der

Flussvektoren FV aus der Überdeckungsfläche SZ bestimmt. Darüber hinaus wird auch über alle berücksichtigten Teilflussfelder noch die maximale

Überdeckungsfläche SZMAX und die maximale Anzahl der Flussvektoren FVMAX in einer jeweiligen Überdeckungsfläche SZ eines der ausgewählten Teilflussfelder bestimmt.

Dann wird das Teilflussfeld mit dem größten Zeitintervall zwischen den, der Berechnung zu Grunde gelegten, Bilderpaaren gewählt, das die folgende Bedingung erfüllt:

FV > alpha * (SZ / SZMAX) * FVMAX wobei alpha ein zu wählender Gewichtungsfaktor ist, der z.B. empirisch bestimmt werden kann.

Es wird also verglichen, ob die Anzahl der in dem betrachteten Teilflussfeld enthaltenen Flussvektoren größer ist als das Produkt aus dem Verhältnis von Überdeckungsfläche SZ zur maximaler Überdeckungsfläche SZ_MAX und der Maximalanzahl von Flussvektoren in einer der Teilflussfelder multipliziert mit alpha.

Sind mehrere Objekte identifiziert worden, wird für jede Überdeckungsfläche separat das geeignetste Flussfeld ausgewählt.

Im Schritt S6 erfolgt nach der Auswahl des geeignetsten Teilflussbereichs die Schätzung der Skalenänderung. Zur Schätzung von Skalenänderungen S6 werden Paare von Flussvektoren aus der Überdeckungsfläche gebildet, um bei Bewegung von Objekten entlang der optischen Achse des

Bilderfassungssystems, Relativbewegungen quantifizieren zu können.

Typischerweise wird bei einer Skalenänderung ein Pixel in einem Bild auf mehrere Pixel in einem anderen Bild abgebildet und umgekehrt.

Aus solchen Skalierungsänderungen kann, als ein kennzeichnender Parameter für die Relativbewegung, dann in einem weiteren Schritt z. B. eine Kollisionszeit TTC (Time-to-collision oder time-to-contact) vor allem zwischen Fahrzeugen abgeleitet werden. Das dargestellte Verfahren kann mittels eines Computerprogrammprodukt realisiert werden, welches die Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, dieses Verfahren mit all seinen optionalen Ausprägungen auszuführen. Dieses

Computerprogrammprodukt kann auch auf einem computerlesbaren

Speichermedium gespeichert werden.

Die Figur 2 zeigt ein System 20 zur Bestimmung einer Relativbewegung dieses Systems 20 zu zumindest einem Objekt. Dieses System weist eine Vorrichtung zur Erfassung von digitalen Bilderfolgen 1 von z. B. Objekten auf.

Eine solche Vorrichtung zur Erfassung von digitalen Bilderfolgen kann z. B. eine digitale Kamera oder eine digitale Videokamera sein. Weiterhin weist das System 20 eine Auswerteeinheit 2 auf, die so mit der Vorrichtung 1 gekoppelt ist, dass die Bilderfolgen an die Auswerteeinheit 2 übergeben werden. Dies kann z. B. mit einem Bussystem la erfolgen, welches die Vorrichtung zur Erfassung von digitalen Bilderfolgen 1 mit der Auswerteeinheit 2 koppelt. Dabei ist die

Auswerteeinheit 2 eingerichtet, das oben beschriebene erfindungsgemäße Verfahren durchzuführen und das Ergebnis des Verfahrens an einem Ausgang 3 der Auswerteeinheit bereitzustellen.

Claims

Ansprüche

1. Verfahren zur Bestimmung einer Relativbewegung einer Einrichtung (10) zu zumindest einem Objekt, basierend auf einer, vom Ort der Einrichtung erfassten, digitalen Bilderfolge des Objektes, wobei das Verfahren die folgenden Schritte umfasst:

- Berechnung einer Vielzahl von optischen Flussfeldern (S2) aus

Bilderpaaren der digitalen Bilderfolge (Sl), wobei die Bilderpaare aus einem aktuellsten Bild und Bildern der Bilderfolge mit unterschiedlichen Zeitintervallen zu diesem aktuellsten Bild gebildet werden;

- Orten mindestens eines Objektes (S3) in einem Teilbildbereich im jeweils aktuellsten Bild und Zuordnen dieses Teilbildbereiches zu dem Objekt;

- Bilden einer Vielzahl von optischen Teilflussfeldern aus der Vielzahl der optischen Flussfelder (S4), wobei ein jeweiliges Teilflussfeld aus einer

Schnittmenge eines der Flussfelder der Vielzahl von Flussfeldern mit dem Teilbildbereich des aktuellsten Bildes der Bilderfolge resultiert;

- Auswahl mindestens eines der Teilflussfelder (S5) aus der Vielzahl der Teilflussfelder entsprechend mindestens einem Kriterium, um die Schätzung einer Skalenänderung des Objektes zu fördern; und

- Schätzung der Skalenänderung für das mindestens eine Objekt (S6) mittels des zugeordneten Teilbildbereiches basierend auf dem mindestens einen ausgewählten Teilflussfeld.

2. Verfahren (10) nach Anspruch 1, dadurch gekennzeichnet, dass das Kriterium zur Auswahl eines Teilflussfeldes (S5) der Grad der Überdeckung des Teilbildbereiches mit dem berechneten Flussfeld und/oder eine absolute Größe der Schnittmenge des Teilbildbereiches mit dem berechneten Flussfeld berücksichtigt.

3. Verfahren (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kriterium zur Auswahl eines Teilflussfeldes (S5) eine Größe eines Signal-Rausch-Verhältnis von Flussvektoren des Teilflussfeldes und/oder ein Qualitätsmaß aus der Berechnung der Flussvektoren und/oder die Anzahl der Flussvektoren im Teilflussfeld und/oder die Länge der Flussvektoren des Teilflussfeldes berücksichtigt.

4. Verfahren (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kriterium zur Auswahl eines Teilflussfeldes (S5) eine Detektionsgüte der Ortung des Objektes im Teilbildbereich des Bildes der Bilderfolge (S3) und/oder Charakteristika der Bildbereiche in der Schnittmenge von Teilbildbereich und dem berechneten Flussfeld, berücksichtigt.

5. Verfahren (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Kriterium zur Auswahl eines Teilflussfeldes (S5) die Erfüllung der Ungleichung:

FV > alpha * (SZ / SZMAX) * FVMAX voraussetzt und zusätzlich die Größe des Zeitintervalls, mit dem das Teilflussfeld berechnet wurde, berücksichtigt.

6. Verfahren (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung der Vielzahl von optischen Flussfeldern (S2) aus einem Bildausschnitt der Bilder der Bilderpaare erfolgt, wobei der Bildausschnitt eine Teilfläche der jeweiligen Bilder darstellt.

7. Verfahren (10) nach einem der Ansprüche 1 bis 5, dadurch

gekennzeichnet, dass die Berechnung der Vielzahl von optischen Flussfeldern (S2), für mindestens zwei unterscheidbare Bildausschnitte der Bilder der

Bilderpaare und mit jeweils unterschiedlichen Zeitintervallen durchgeführt wird.

8. Verfahren (10) nach Anspruch 7, dadurch gekennzeichnet, dass die mindestens zwei unterscheidbaren Bildausschnitte in Bezug auf ihre Anordnung und Größe auf den Bildern der Bildpaare entsprechend perspektivischer Aspekte, für die Ortung von Objekten in unterschiedlicher Entfernung von der Einrichtung, angeordnet sind.

9. Verfahren (10) nach Anspruch 7, dadurch gekennzeichnet, dass die mindestens zwei Bildausschnitte durch ihre flächenmäßige Ausdehnung unterscheidbar sind, der kleinere Bildausschnitt vollständig innerhalb des größeren Bildausschnites angeordnet ist und das jeweils zugeordnete

Zeitintervall zur Berechnung der Flussfelder größer ist, je kleiner der

Bildausschnit ist.

10. Verfahren (10) nach Anspruch 7 bis 9, dadurch gekennzeichnet, dass die Berechnung einer Vielzahl von optischen Flussfeldern (S2) aus

Bildausschniten der Bilderpaare berechnet werden, wobei die Bildausschnite und/oder die Zuordnung der Bildausschnite zu Zeitintervallen der Bilderpaare jeweils nach der Erfassung der jeweiligen Bilderfolge festgelegt werden.

11. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren (10) nach einem der Ansprüche 1 bis 10 auszuführen.

12. Computerlesbares Speichermedium, umfassend Befehle, die bei der

Ausführung durch einen Computer diesen veranlassen, das Verfahren (10) nach einem der Ansprüche 1 bis 10 auszuführen.

13. System (20) zur Bestimmung einer Relativbewegung des Systems zu zumindest einem Objekt, dadurch gekennzeichnet, dass das System eine

Vorrichtung zur Erfassung von digitalen Bilderfolgen (1) des zumindest einen Objektes und eine Auswerteeinheit (2) aufweist, die so mit der Vorrichtung (1) gekoppelt ist, dass die Bilderfolgen an die Auswerteeinheit (2) übergeben werden, und die Auswerteeinheit (2) eingerichtet ist das Verfahren (10) gemäß Anspruch 1 bis 10 durchzuführen und das Ergebnis des Verfahrens an einem

Ausgang der Auswerteeinheit (3) bereitzustellen.