WO2012110654A1 - Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem - Google Patents

Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem Download PDF

Info

Publication number
WO2012110654A1
WO2012110654A1 PCT/EP2012/052818 EP2012052818W WO2012110654A1 WO 2012110654 A1 WO2012110654 A1 WO 2012110654A1 EP 2012052818 W EP2012052818 W EP 2012052818W WO 2012110654 A1 WO2012110654 A1 WO 2012110654A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
list
time
images
tracks
Prior art date
Application number
PCT/EP2012/052818
Other languages
English (en)
French (fr)
Inventor
Marko Stefanovic
Rolf-Stephan BADURA
Jan KARSCH
Original Assignee
Hella Kgaa Hueck & Co.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102011011931.0 external-priority
Application filed by Hella Kgaa Hueck & Co. filed Critical Hella Kgaa Hueck & Co.
Priority to DE112012000873T priority Critical patent/DE112012000873A5/de
Priority to US14/000,107 priority patent/US9589191B2/en
Publication of WO2012110654A1 publication Critical patent/WO2012110654A1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Abstract

Ein Verfahren zur Auswertung einer Mehrzahl zeitlich versetzter Bilder mit den Schritten - Detektieren einer Mehrzahl von Objekten in einem ersten Bild und Speichern der Mehrzahl von Objekten jeweils mit einer Ersterfassungszeit und/oder einem Ersterfassungsort als Tracks - Detektieren einer Mehrzahl von Objekten in weiteren Bildern und Identifizieren der jeweils detektierten Objekte als dem jeweils gespeicherten Track zugeordnetes Objekt, wobei der jeweilige Track durch die aktuelle Position des identifizierten Objekts aktualisiert wird und in den jeweiligen weiteren Bildern jeweils erstmalig detektierte Objekte mit zugeordneten Tracks gespeichert werden und wobei für die Objekte bzw. Tracks jeweils eine zurückgelegte Wegstreckenlänge, ein Abstand und/oder eine Zeitdifferenz von der Ersterfassungszeit als Erfassungsdauer bestimmt wird, die mit einem jeweils vorgegebenen Schwellenwert verglichen werden und klassiert werden, wobei für mindesten eines der Bilder eine Anzahl der gespeicherten Tracks bestimmt.

Description

Verfahren zur Auswertung einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, ÜberwachungsSystem
Die Erfindung betrifft ein Verfahren zur Auswertung einer Mehrzahl versetzter Bilder,
Nach dem Stand der Technik ist es bekannt, zeitlich versetzte Bilder auf in den Bildern enthaltende Objekte zu untersuchen. In zeitlich späteren Bildern gefundene Objekte werden dabei nach Plausibilitäts- kriterien, d.h. beispielsweise nach ihrer Form und ihrer aktuellen Position, als Objekte aus zeitlich früheren Bildern identifiziert. Zwar ist das Identifizieren von Objekten in zeitlich späteren Bildern als aus den zeitlich früheren Bildern bekannte Objekte durch derartige Verfahren nach dem Stand der Tech- nik zuverlässig möglich, jedoch ergibt sich das Problem, dass häufig fehlerhaft zusätzliche Objekte erkannt werden. Beispielsweise kann Sensorrauschen oder dergleichen als zusätzliches Objekt detektiert werden. Außerdem sollen in vielen Anwendungsfällen nur bestimmte Objekte detektiert werden. Beispielsweise sollen bei Überwachungsbildern die Bilder zumeist nur auf darauf zu erkennende Personen hin untersucht werden.
Des Weiteren besteht der Bedarf, weitere Informationen aus den Bildern zu extrahieren. Aufgabe der Erfindung ist es, ein Verfahren zur Auswertung von einer Mehrzahl zeitlich versetzter Bilder zu schaffen, das ein Erfassen von Objekten gestattet und einem Nutzer zusätzliche Informationen bezüglich der detektierten Objekte zur Verfügung stellt, wobei ein zuverlässiges Bestimmen der zu berücksichtigenden
Objekte gewährleistet wird. Eine weitere Aufgabe der Erfindung ist es, einem Nutzer eine möglichst umfassende Datenauswertung zu ermöglichen. Diese Aufgabe wird durch ein Verfahren nach Anspruch
1, eine Vorrichtung nach Anspruch 24 sowie ein Überwachungssystem nach Anspruch 25 gelöst. Vorteilhafte Wei erbildungen und Ausgestaltungen ergeben sich mit den Merkmalen der Unteransprüche .
Gemäß dem erfindungsgemäßen Verfahren wird zunächst eine Mehrzahl von Objekten in einem ersten Bild detektiert. Die Objekte werden jeweils mit einer Erst- erfassungszeit und/oder einem Ersterfassungsort des jeweiligen Objekts als Tracks gespeichert. Insbesondere können die Tracks in einer Trackliste gespei- c ert werden. Ein Initiieren eines Parameters, der die seit der Ersterfassung vergangene Zeit (beispielsweise angegeben in der Anzahl der seit der Ersterfassung aufgenommenen Bilder) angibt, soll hierbei auch als ein Speichern einer Erf ssungszeit gelten.
Nachfolgend wird jeweils eine Mehrzahl von Objekten in weiteren Bildern detektiert, wobei jeweils eine Position des Objekts bestimmt wird. Bei dem ersten und/oder bei den weiteren Bildern kann es sich auch um beliebig geformte Teilbereiche bzw. Ausschnitte von Bildern handeln. Die in den weiteren Bildern de- tektierten Objekte werden, sofern es sich um Objekte handelt, die bereits in einem Track gespeichert wurden, als das dem jeweiligen Track zugeordnete Objekt identifiziert. Der jeweilige Track wird dann durch die aktuelle Position des jeweiligen Objekts aktualisiert. Im jeweiligen Bild erstmalig detektierte Ob- jekte werden jeweils mit zugeordnetem Track gespeichert .
Die Positionen können bevorzugt in kartesischen Koordinaten in einem rechtshändigen Koordinatensystem an- gegeben sein, wobei auch zwei Objekte die gleiche Position aufweisen können. Als Einheit können Zentimeter verwendet werden. Der Koordinatenursprung kann vorzugsweise von einem Nutzer eingestellt werden. Jedem Objekt kann bevorzugt eine eindeutige Objekt -ID zugeordnet sein.
Das Verfahren kann insbesondere zur Personenzählung und/oder Personenerfassung verwendet werden. Besonders bevorzugt kann es sich bei der Mehrzahl oder auch bei allen Objekten um Personen handeln. Bei einer Ausführungsform des Verfahrens wird für mindestens eines der Bilder eine Anzahl der gespeicherten Tracks bestimmt und vorzugsweise ausgegeben. Dies ist beispielsweise im Bereich der Ladenüberwachungen von besonderem Vorteil, da somit ein einfaches Erstellen von Statistiken zum Kundenaufkommen ermöglicht wird. Ein Zählen der zu berücksichtigenden Objekte hat jedoch auch in vielen anderen Bereichen Vorteile. So ist beispielsweise ein zuverlässiges und schnelles Bestimmen des Verkehrsaufkommens bei Verkehrsüberwachungskameras möglich. Ebenso ist das Verfahren bei der Überwachung von Gepäckstücken von Vorteil .
Die bei dem Verfahren ausgewerteten Bilder sind vorzugsweise real aufgenommene Bilder. Die in den Bildern erfassten Objekte und ihre Positionen entsprechen somit real vorhandenen Objekten bzw. Positionen. Das Verfahren kann durch ein auf einem Computer ablaufendes Programm oder auch durch eine speziell für das Verfahren ausgebildete Hardware ausgeführt werden. Es wird jedoch nicht das Programm als solches, sondern das technische Verfahren beansprucht.
In einer bevorzugten Ausführungsform wird eine Liste von Objekten gespeichert und über eine Schnittstelle zumindest teilweise ausgegeben. Mit einem zumindest teilweisen Ausgeben ist gemeint, dass die ausgegebene Liste weniger Objekte und/oder weniger den Objekten zugeordnete Informationen enthalten kann als die gespeicherte Liste. Die ausgegebene Liste kann für verschiedene Anwendungszwecke verwendet werden.
Beispielsweise kann der Nutzer mit Hilfe der ausgegebenen Liste eine bestimmte Linie überquerende Tracks zählen. Es können auch für mehrere verschiedene Li- nien die die jeweilige Linie überquerenden Objekte bzw. Tracks separat gezählt werden.
Desweiteren kann der Nutzer des Verfahrens bzw. der Vorrichtung zur Auswertung von Bildern die ausgegebene Liste dazu nutzen, eine von dieser Vorrichtung unabhängige Erkennung von nach Verlassen eines Teilbereichs bzw. ROI des Bildes erneut in den jeweiligen Teilbereich (bzw. ROI) eintretenden Tracks zu realisieren. Auch um durch eine separate Vorrichtung die Anzahl von in einem bestimmten Bildbereich angeordneten Tracks auszuwerten oder auch, um die Anordnung der Tracks hinsichtlich ihres Zusammenhangs zu analysieren (beispielsweise darauf, ob mehrere Tracks eine Warteschlange bilden) , kann die ausgegebene Liste verwendet werden. Bei den vorangehend genannten Verwendungsmöglichkeiten der ausgegebenen Liste, ist es bevorzugt, wenn mehr als einmal pro Sekunde eine Liste ausgegeben wird.
Außerdem kann die ausgegebene Liste für statistische Anwendungen wie die Erstellung von "Heat-Maps", d.h. die Erfassung, wo sich Tracks bzw. Objekte hauptsächlich aufhalten und auf welchen Wegen sie sich üblicherweise bewegen, verwendet werden. Weitere statistische Anwendungen, sind die Erstellung von Statistiken zur durchschnittlichen Verweildauer oder der durchschnittlichen Länge von Warteschlangen. Für diese Anwendungen der Liste reicht eine seltenere Ausgabe, beispielsweise etwa einmal pro Sekunde oder seltener als einmal pro Sekunde, aus.
Ein Herausgeben einer Liste von gespeicherten Tracks kann je nach Anforderungen kontinuierlich für jeden aufgenommenen Frame bzw. jedes Bild, in vorgegebenen Zeitintervallen oder vereinzelt nur bei Bedarf, er- folgen. Es ist auch möglich, an mehrere Nutzer gleichzeitig dieselbe Liste oder verschieden gefilterte Listen auszugeben. Abfragen von Listen verschiedener Nutzer bzw. Clients beeinflussen/ stören sich hierbei vorzugsweise nicht gegenseitig .
Die Liste kann beispielsweise als Liste von aktuell im Bild enthaltenen Objekten ausgebildet sein, d.h. sie kann der Trackliste entsprechen. Die Liste enthält dann vorzugsweise für jedes Objekt den aktuellen Ort, an dem sich das Objekt befindet, sowie besonders vorzugsweise einen Bewegungsvektor, der angibt, in welche Richtung und wie schnell sich das Objekt bewegt bzw. wie schnell und in welche Richtung sich das jeweiligen Objekts in einem vergangenen Zeitbereich, beispielsweise der letzten Sekunde, und/oder vergangenen Zeitbereichen, bewegt hat. Die Bestimmung des Bewegungsvektors kann insbesondere durch kontinuierliche Berechnung mittels eines Kaiman- Filters erfolgen. Die Bewegungsvektoren können vorzugsweise zweidimensional sein, d.h., eine Höhe bzw. Höhenänderung wird für die Bestimmung der Bewegungsvektoren nicht berücksichtigt. Außerdem enthält die Liste Zeitinformationen. Je nach Ausführungsform, kann jedem Objekt eine Zeit zugeordnet sein, zu der es zuletzt erfasst wurde, wobei diese Zeit, beispielsweise als Attribut des Objektes, in der Liste enthalten ist. Dies ist insbesondere in Ausführungsformen sinnvoll, in denen
Objekte erst dann aus der Trackliste entfernt werden, wenn festgestellt wurde, dass sie sich aus dem Bildbereich heraus bewegt haben oder wenn sie für eine vorgegebene Mindeszeit nicht mehr erfasst wurden. Um festzustellen, ob sich das Objekt aus dem Bildbereich heraus bewegt hat, kann anhand des zuletzt bestimmten Bewegungsvektors abgeschätzt werden, ob das Objekt den Bildbereich wahrscheinlich verlassen hat. Wird ein Objekt eine zu lange Zeit nicht mehr erfasst, wird eine Abschätzung, wo sich das jeweilige Objekt befindet, vorzugsweise aufgegeben, wobei das Objekt dann aus der Trackliste entfernt werden kann. Alternativ kann der ausgegebenen Trackliste auch ein einziger Zeitstempel zugeordnet sein. Unabhängig davon, ob jedem einzelnen Objekt separat Zeitinformationen (insbesondere ein Zeitstempel) zugeordnet sind oder ob der Trackliste als ganzes eine Zeit zugeordnet ist, kann für die Erzeugung der Zeitinformationen eine Zeit von einer externen Informationsquelle abgerufen werden.
Die ausgegebene Liste kann auch als Liste von Objekten, die den Bildbereich (oder einen ROI im Bildbereich) verlassen haben, ausgebildet sein. Für jedes Objekt enthält die Liste vorzugsweise einen Ein- trittsort in den Bildbereich, einen Austrittsort aus dem Bildbereich, eine Eintrittszeit in den Bildbereich, eine Aufenthaltsdauer im Bildbereich, eine Austrittszeit aus dem Bildbereich und/oder ein letzter Bewegungsvektor des Objekts in der Liste enthal- ten ist. Bevorzugt enthält die Liste jedoch nicht alle sondern nur einige der angegebenen Informationen. Insbesondere ist es vorteilhaft, wenn die Liste nur zwei der Angaben Eintrittszeit, Aufenthal sdauer und Austrittszeit je Objekt enthält. Insbesondere kann die Liste die Eintrittszeit oder Austrittszeit in
Kombination mit der Aufenthaltsdauer in Frames enthalten. Durch die Angabe der Aufenthaltsdauer in Frames wird sichergestellt, dass auch im Falle von Zeitumstellungen (Sommer/Winterzeit) zwischen Ein- und Austrittszeitpunkt, eine Aufenthaltsdauer korrekt angegeben bleibt. Da die dritte Angabe dann aus den beiden anderen Angaben (d.h. der Eintrittszeit und der Aufenthaltsdauer oder der Austrittszeit und der Aufenthaltsdauer) berechnet werden kann ist sie somit redundant. Es können jedoch alternativ auch die Eintrittszeit, die Austrittszeit und die Aufenthaltsdauer (vorzugsweise in Frames) in der Liste enthalten sein. Über die Redundanz ist dann eine
Plausibilisierung möglich.
Ebenso kann die Liste als gemischte Liste, in der sowohl Objekte, die den Bildbereich verlassen haben, als auch Objekte, die den Bildbereich noch nicht verlassen haben, enthalten sind, ausgebildet sein. Bei einer derartigen gemischten Liste, ist jedem Objekt vorzugsweise als Attribut zugeordnet, ob es sich um ein aktuelles Objekt handelt oder ob das Objekt den Bildbereich bereits verlassen hat.
In einer besonders bevorzugten Ausführungsform wird sowohl eine Liste von aktuell im Bild enthaltenen Objekten (d.h. eine Trackliste) als auch eine Liste der Objekte, die den Bildbereich verlassen haben, gespeichert. Sobald ein Objekt den Bildbereich, d.h. Erfassungsbereich, verlässt (d.h. entweder sobald anhand seines Bewegungsvektors und seines Ortes in einem Bild in Kombination mit der nicht erneuten Erfassung im nächsten Bild ein Verlassen des Bildbereichs schlüssig ist oder sobald das Objekt eine vorgegebene Zeitdauer nicht mehr detektiert wurde) , sodass ein Tracking nicht mehr möglich ist, wird es von der Trackliste in die Liste der Objekte, die den Bildbereich verlassen haben (auch als Liste der historischen Objekte bezeichnet) verschoben. Ein aus der Trackliste entferntes Objekt wird vorzugsweise nicht weiter verfolgt und kann entsprechend nicht wiedererkannt werden. Tritt das Objekt später erneut in den Bildbereich ein, wird es als neues Objekt bewertet, d.h. das alte (identische) Objekt bleibt in der Liste der historischen Objekte enthalten und ein neues Objekt wird in die Trackliste eingetragen.
In einer bevorzugten Ausführungsform wird eine Liste von Objekten ausgegeben, die aus der Trackliste und/oder der Liste der historischen Objekte herausgefiltert wurde.
Beispielsweise kann nach Objekten gefiltert werden, die in einem bestimmten Bereich - beispielsweise einer Kassenschlange oder einer bestimmten Fahrspur - zuerst erfasst wurden.
Ebenso kann nach Objekten gefiltert werden, die vor dem Austritt aus dem Bild bzw. ROI in einem bestimmten Bereich zuletzt erfasst wurden. So können beispielsweise nur Tracks berücksichtigt werden, die ein Geschäft nach Besuch der Kasse verlassen haben.
Bei einer Filterung abhängig vom Ersterf ssungs- oder Austrittsort kann der Bereich, in dem die Objekte zuerst erfasst bzw. zuletzt erfasst worden sein müssen, um ausgegeben zu werden, vorzugsweise durch einen
Nutzer eingegeben werden. Hierzu kann der Nutzer beispielsweise ein Polygon (vorzugsweise mindestens ein Viereck) in einem Bild auswählen. Bei der Eingabe des Ersterfassungs- oder Austrittsortes für die Filterung sowie bei jeglichen sonstigen Eingaben, bei denen der Nutzer einen Bildbereich manuell auswählt, können dem Nutzer die Koordinaten, an denen sich ein Mauszeiger zum Auswählen des Bildbe- reichs befindet, angezeigt werden. Durch eine solche
Anzeige der Koordinaten beim Rollover ist für den Nutzer besonders leicht nachzuvollziehen, welchen Bereich er gerade auswählt.
Ein Ausgeben der Liste kann beispielsweise über durch den Nutzer einstellbare Triggerbedingungen gesteuert werden. Beispielsweise ist ein Ausgeben der Liste in regelmäßigen Abständen möglich.
Ebenso ist es möglich, immer dann eine Liste von Objekten auszugeben, wenn ein Objekt oder eine Vorgegebene Zahl von Objekten von der Trackliste in die Liste der historischen Objekte verschoben wurde. In diesem Fall kann insbesondere eine Liste aller seit der letzten Ausgabe einer Liste verschobener Objekte ausgegeben werden.
In einer vorteilhaften Ausführungsform sind den Objekten der Liste zusätzliche Attribute, beispielsweise Objektkategorien oder Zonen, in denen das Objekt zuerst erfasst wurde, zugeordnet. Ebenso kann dem Objekt ein Bewegungsattribut, welches angibt ob es sich um ein unbewegliches Objekt, ein langsames Objekt oder ein schnelles Objekt handelt, als zusätzliches Attribut zugeordnet sein. Die Liste der aktuellen Objekte (Trackliste) und/oder die Liste der Historischen Objekte kann alternativ auch nach der Entsprechenden Eigenschaft (d.h. beispielsweise der Objektkategorie) untergliedert sein, sodass für jedes Objekt über die Untergliederung der Liste Informationen bezüglich des entsprechenden Attributes vorliegen ohne das eine Speicherung als separates Attribut des Objektes notwendig ist. Dies ist insbesondere bei einer Anwendung des Verfahrens zur Verkehrsüberwachung hilfreich. Beispielsweise kann durch die Angabe der Objektkategorie festgelegt sein, ob es sich um einen Fußgänger, Radfahrer, PKW oder um einen Lastwagen handelt .
Eine Ausgabe der Liste und/oder Triggerbedingungen, die die Ausgabe der Liste automatisch auslösen können vorzugsweise über ein HMI und/oder ein MAPI gesteuert werden. Das Ausgeben der Liste erfolgt vorzugsweise ausschließlich über das MAPI, da ein Anzeigen der Listen durch das HMI bzw. Benutzerinterface üblicherweise aus Platzgründen nicht sinnvoll ist. Über das HMI kann daher vorzugsweise die Ausgabe von Listen lediglich gesteuert werden.
In einer weiteren bevorzugten Ausführungsform wird zunächst geprüft, ob eine bestimmte Lizenzdatei vorliegt, und ein Ausgeben von Listen wird nur in dem Fall, dass die Lizenzdatei vorliegt, ermöglicht.
Liegt keine für das Ausgeben von Listen ausgebildete Lizenzdatei vor, steht dem Nutzer nur ein reduzierter Funktionsumfang, beispielsweise eine Zählung der Objekte der Liste durch die Überwachungsvorrichtung selbst zur Verfügung. Hierdurch können mit geringem Aufwand Überwachungssystem mit verschiedenem Funktionsumfang realisiert werden. Vorzugsweise wird einem Benutzer der Überwachungsvorrichtung angezeigt, ob die Lizenzdatei vorliegt oder nicht.
Ein Ausgeben der Tracks kann vorzugsweise kontinuierlich oder in Abhängigkeit von einer Mehrzahl von Bildern oder auf Befehl eines Nutzers erfolgen. Beispielsweise kann vorgesehen sein, dass die Aufenthaltsdauer, eine Objektnummer und der Eintritts- und Austrittsort von allen Objekten, die den Bildbereich (oder einen ROI im Bildbereich) bereits verlassen haben, ausgegeben wird. Zusätzlich können die genannten Angaben auch für noch im Bildbereich vorhandene Objekte ausgegeben werden. Ebenso können für alle Ob- jekte die Objekt bzw. Track-ID, der Ort abhängig von der Zeit und Zeit und Ort des Ein- und Austritts aus dem Bildbereich ausgegeben werden. Aus diesen Daten können weitere Daten wie die Verweildauer, Bewegungs- schemata oder dergleichen berechnet werden.
Erfindungsgemäß wird für die Objekte bzw. Tracks jeweils eine zurückgelegte Wegstreckenlänge, ein Abstand und/oder eine Zeitdifferenz von der Ersterfas - sungszeit als Erfassungsdauer des jeweiligen Objekts bestimmt. Als euklidischer Abstand können der tatsächliche räumliche Abstand (z.B. in SD- Weltkoordinaten) und/oder der Abstand in den einzelnen Raumrichtungen (beispielsweise der Abstand in horizontaler x-Richtung und/oder vertikaler z-Richtung oder auch in allen drei Raumkoordinaten) bestimmt werden. In gleicher Weise können eine Gesamtwegstreckenlänge und/oder eine Wegstreckenlänge in einzelne Raumrichtungen bestimmt werden.
Die Wegstreckenlänge, der Abstand und/oder die Erfassungsdauer (diese Eigenschaften werden auch als Qualitäten bezeichnet) werden nachfolgend jeweils mit einem vorgegebenen Schwellenwert verglichen. Anschießend wird das jeweilige Objekt bzw. der jeweilige Track als zu berücksichtigendes Objekt bzw. Track oder als nicht zu berücksichtigendes Objekt bzw.
Track klassiert. Ob das Objekt bzw. der Track als zu berücksichtigendes Objekt bzw. Track oder als nicht zu berücksichtigendes Objekt bzw. Track klassiert wird, hängt vom Ergebnis des Vergleichs der Wegstrecke, des Abstands und/oder der Erfassungsdauer mit den jeweiligen vorgegebenen Schwellenwerten ab.
In einer idealen Welt wäre der aktuelle Füllstand, d.h. die aktuelle Zahl der zu berücksichtigen Objekte gleich der Anzahl der gespeicherten Tracks in der Trackliste. Durch Sensorrauschen oder Störstellen {Objekte im Bild) existieren jedoch meist mehr Tracks als zu berücksichtigende Objekte. Durch den Vergleich und die nachfolgende Klassierung werden personentypische Kriterien, wie das Zurücklegen einer Wegstrecke und/oder der Verbleib für eine vorgegebene Mindestaufenthaltsdauer im Bildbereich zur Beurteilung, ob es sich um ein zu berücksichtigendes Objekt handelt oder nicht, herangezogen. Hierdurch können Fehlerkennungen nahezu vollständig ausgeschlossen werden.
Besonders bevorzugt wird das Objekt als zu berücksichtigendes Objekt klassiert, wenn eine der oben genannten Größen (zurückgelegte Wegstrecke, Abstand vom Ersterfassungsort , Erfassungsdauer) , wenn alle der oben genannten Größen und/oder wenn mehrere der genannten Größen (entweder eine minimale Zahl der genannten Größen oder mehrere bestimmte der genannten Größen) größer ist/sind als der entsprechende
Schwellenwert. Dadurch, dass überprüft wird, dass das Objekt mindestens eine vorgegebene Zeit detektiert wurde, mindestens eine vorgegebene Wegstrecke zurückgelegt hat und mindestens einen vorgegebenen Abstand zum Ersterfassungsort hat, können Fehler, beispielsweise durch Sensorrauschen oder fälschlich als Objekte erkannte stationäre Gegenstände, besonders gut ausgeschlossen werden.
Je nach Ausführungsform des Verfahrens kann es von Vorteil sein, wenn nur Objekte in einem bestimmten Teilbereich der Bilder als zu berücksichtigende
Tracks klassiert werden bzw. wenn nur Tracks, denen ein im Teilbereich angeordnetes Objekt zugeordnet ist beim Bestimmen der Anzahl der gespeicherten Tracks berücksichtigt werden. Ebenso kann auf ein Speichern der Objekte mit Ersterfassungszeit und Ersterfas- sungsort, die nicht mindestens einmal in dem Teilbereich detektiert wurden, verzichtet werden. Dadurch, dass nur ein gewisser Teilbereich der Bilder herangezogen wird, kann die Auswertung auf einen für einen Nutzer relevanten Bereich eingeschränkt werden. Wird beispielsweise ein Verkaufsstand mittels einer Kamera überwacht, kann der den Verkaufsstand direkt umgebende Bereich als Teilbereich (auch als ROI, Region of Interest oder als Überwachungsbereich bezeichnet) definiert werden.
Ebenso können mehrere ROIs angegeben werden, wobei für jeden der ROIs unabhängig voneinander eine Anzahl von Objekten bzw. zu berücksichtigenden gespeicherten Tracks bestimmt und/oder ausgegeben werden kann. Die ROIs können jeweils beliebig geformt sein. Besonders bevorzugt kann die Form des ROI bzw. der ROIs durch einen Nutzer festgelegt werden. Insbesondere kann der ROI durch einen den jeweiligen ROI umrandenden Polygonzug definiert werden. In Ausführungsformen, in denen mehrere ROIs angegeben werden, kann jedem Objekt bzw. Track eine Zone bzw. ein ROI zugeordnet werden, dem der jeweilige Track zugeordnet ist. Außerdem kann auch für jeden ROI separat eine Trackliste gespeichert werden.
In einer weiteren Ausführungsform der Erfindung wird eine Austrittszeit des jeweiligen Objekts aus der Mehrzahl von Bildern und/oder dem Teilbereich bestimmt und gespeichert. Als Austrittszeit ist hierbei die Zeit definiert, zu der das jeweilige Objekt zum letzten Mal auf den Bildern bzw. in dem Teilbereich der Bilder detektiert wird.
Die Austrittszeit und Ersterfassungszeit oder eine hieraus berechnete Zeitdifferenz kann an einen Nutzer oder zur weiteren Datenverarbeitung an einen Computer ausgegeben werden. Dies ist insbesondere vorteilhaft, wenn Aufenthaltsdauern von Personen im Bildbereich bzw. im Teilbereich bestimmt werden sollen. Derartige Informationen sind zur Optimierung von Verkaufsständen, Kaufhäusern oder dergleichen von Interesse. Ein Bestimmen und Ausgeben der Austrittszeit bzw. der Zeitdifferenz zwischen Ersterfassungszeit und Austrittszeit kann auch an sich, d.h. ohne ein Bestimmen der Anzahl der gespeicherten Tracks als vorteilhaft angesehen werden. Alternativ zu einer Speicherung der Austrittszeit und der Ersterfassungszeit kann auch die Austrittszeit (beispielsweise in Form von Datum und Zeitstempel) oder Ersterfassungszeit und die Aufenthaltsdauer (beispielsweise in Sekunden) gespeichert werden. Aus diesen beiden Werten ist dann der jeweils andere Wert berechenbar. ie vorne Beschrieben, ist die Speicherung der Ersterfassungszeit oder Austrittszeit sowie der Aufenthaltsdauer (in Frames) besonders bevorzugt, da die Daten dann auch bei Zeitumstellungen nicht verfälscht werden.
Als Bilder können beispielsweise Bilder eines Bilderfassungssystems (hierbei kann es sich beispielsweise um eine einfache Kamera, eine Stereokamera, TOF- Kamera oder eine beliebige andere Kamera handeln. Sogar Radarerfassungssysteme oder Ultraschallerfassungssysteme können verwendet werden) , vorzugsweise in Echtzeit, ausgewertet werden. Durch die Auswertung in Echtzeit, d.h. während des AufZeichnens der Bilder, kann ein Nutzer Ergebnisse der Überwachungen jederzeit abrufen und entsprechend darauf reagieren. Ebenso kann hierdurch der korrekte Ablauf des Verfahrens von einem Nutzer jederzeit überprüft werden. Um ein Optimieren des Verfahrens jederzeit zu ermöglichen, ist es vorgesehen, dass die vorgegebenen Schwellenwerte während des Detektierens des mindestens einen Objekts durch einen Nutzer oder automatisch (beispielsweise durch einen hierfür vorgesehenen Optimierungsalgorithmus) verändert werden. Stellt sich z.B. heraus, dass den Bildbereich durchquerende Personen den Bildbereich zu schnell verlassen, so dass sie als Objekt mit einem Alter unterhalb des entsprechenden Schwellenwertes festgestellt werden, kann der Schwellenwert entsprechend reduziert werden. Das Verändern durch den Nutzer kann beispielsweise über ein Webinterface erfolgen.
Um ein starkes Schwanken der Auswertungsergebnisse zu vermeiden, kann eine zeitlich gemittelte Anzahl der zu berücksichtigenden Objekte bzw. Tracks und/oder eine zeitlich gemittelte Zeitdifferenz zwischen Erst- erfassungszeit und Austrittszeit bestimmt werden. In vielen Fällen sind derartige gemittelte Angaben deutlich aussagekräftiger als Aussagen bezüglich eines einzelnen Kamerabildes. Als Beispiel sei erneut auf die Überwachung von Läden hingewiesen, bei der ein Ladenbesitzer nicht an der zu genau einem Zeitpunkt vorliegenden Kundenzahl sondern an einer durchschnittlichen Kundenanzahl und einer durchschnittlichen Aufenthaltsdauer interessiert ist.
In einer weiteren Ausführungsform werden mehrere Objekte bzw. Tracks gespeichert, wobei nach Erreichen einer vorgegebenen Objektzahl bzw. Trackzahl und/oder nach Erreichen eines vorgegebenen Speicherbedarfs ein ältestes Objekt überschrieben wird. Hierdurch wird erreicht, dass dann wenn eine Limitierung der Anteile der gespeicherten Objekte durch den zur Verfügung stehenden Speicherplatz auftritt, ein Erfassen von neu auftretenden Objekten weiterhin möglich bleibt. Besonders bevorzugt können Objekte, die noch innerhalb des Bildbereichs und/oder Teilbereichs sind, separat von Objekten, die den Bildbereich und/oder Teilbereich bereits verlassen haben gespeichert sein.
In derartigen Ausführungsformen werden nur Objekte überschrieben, die den Bildbereich und/oder Teilbereich bereits verlassen haben. Bevorzugt werden die Objekte bzw. Tracks, die den Bildbereich und/oder Teilbereich verlassen haben, in regelmäßigen Abständen und/oder auf Abfrage ausgegeben. Die ausgegebenen Objekte können dann aus dem vorherigen Speicherort gelöscht werden.
Ein besonders zuverlässiges Klassieren der Objekte ist möglich, wenn sowohl die Wegstreckenlänge als auch der Abstand und die Erf ssungsdauer bestimmt und mit dem jeweiligen Schwellenwerten verglichen werden. Das Objekt wird dann unter Berücksichtigung aller dieser Kriterien klassiert. Besonders bevorzugt wird das Objekt nur dann als zu berücksichtigendes Objekt eingestuft, wenn sowohl die Wegstreckenlänge als auch der Abstand und die Erfassungsdauer über dem Schwellenwert liegen.
Des Weiteren hängt die Klassierung vorzugsweise von einer Historie des Objekts bzw. Tracks ab. Ein Track der einmal als zu berücksichtigender Track klassiert wurde wird dann unabhängig von der dann vorliegenden Position auch in den späteren Bildern als zu berücksichtigender Track klassiert.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Figuren näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung zur Verdeut- lichung einer ersten Ausführungsform des erfindungsgemäßen Verfahrens,
Fig. 2 eine schematische Darstellung wie in Fig. 1 zu einem späteren Zeitpunkt des Verfahrens als in Fig. 1 dargestellt,
Fig. 3 eine schematische Darstellung zur Verdeutlichung einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens,
Fig. 4 eine schematische Darstellung wie in Fig. 3 gezeigt, zu einem späteren Zeitpunkt des Verfahrens,
Fig. 5 eine schematische Darstellungen wie in den
Fign. 3 und 4 gezeigt zu einem noch späteren Zeitpunkt des Verfahrens und
Fig. 6 eine schematische Darstellung einer Ausführungsform eines Überwachungssystems.
Anhand von Fig. 1 soll eine erste Ausführungsform des erfindungsgemäßen Verfahrens, bei dem mehrere zeitlich versetzte durch eine Überwachungskämera aufgenommene Bilder ausgewertet werden, verdeutlicht werden. In Fig. 1 ist ein Region of Interest (ROI , auch Überwachungsbereich genannt) 1 eines Bildes einer Überwachungskamera dargestellt. In dem ROI ist ein Objekt 2 (hierbei kann es sich beispielsweise um eine Person oder ein Gepäckstück handeln) an mehreren Positionen 3, 4, 5, 6 abgebildet. Dass das Objekt 2 in Fig. 1 an mehreren Stellen dargestellt ist, dient lediglich zur Verdeutlichung. Tatsächlich ist das Objekt 2 in jedem einzelnen Bild der Überwachungskamera nur an einer Position angeordnet. Entsprechend befin- det sich das Objekt 2 in zeitlicher versetzten Bildern der Überwachungskamera jeweils an einem der Orte 3, 4, 5, 6. Insgesamt legt das Objekt 2 zwischen der Position 3 und der Position 6 den durch die gestrichelten Pfeile angedeuteten Weg 7 zurück. Ein euklidischer Abstand der aktuellen Position 6 des Objekts 2 zur Startposition 3 wird durch den Pfeil 8 verdeutlicht. Die X- und Z-Komponente des Abstands wird durch die Teile 9 und 10 dargestellt.
Gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird das Objekt 2 zunächst an einer Position 3 erfasst. Hierbei wird das Objekt 2 zusammen mit der Startposition und der Startzeit des Objekts als Track gespeichert. Das Speichern der Startzeit kann beispielsweise dadurch geschehen, dass dem Objekt ein Parameter „Ob ektalter" zugeordnet wird, das zum StartZeitpunkt auf null gesetzt und das bei jedem nachfolgenden Kamerabild bzw. jeden Frame, auf dem das Objekt 2 festgestellt wird, erhöht wird.
Nachfolgende Kamerabilder werden gemäß dem Verfahren jeweils ebenso auf Objekte untersucht. Dabei wird in jeweils einem der nachfolgenden Kamerabilder ein Objekt an den Positionen 4, 5 oder 6 nachgewiesen. Anhand von Plausibilitätskriterien, wie z.B. der Form des Objekts, wird das an der Position 4, 5 bzw. 6 festgestellte Objekt als das Objekt 2 identifiziert, das bereits zuvor an der Startposition 3 aufgefunden wurde. Nach dem Detektieren des Objekts in jedem der nachfolgenden Bilder wird jeweils ein Alter des Objekts 2, ein Abstand zur Startposition 3 des Objekts 2 sowie eine ausgehend von der Startposition 3 zurückgelegte Wegstrecke 7 bestimmt. In der Fig. 1 ist dies beispielhaft für die Position 6 abgebildet. Die zurückgelegte Wegstrecke 7, der euklidische Abstand 8 (beispielsweise in 3D-Weltkoordinaten) und das Objektalter (diese Eigenschaften werden auch als „Qualitäten" des Objekts bezeichnet) werden jeweils mit einem Schwellenwert verglichen. Zusätzlich werden auch die X-Komponente 9 und die Z-Komponente 10 des Abstands sowie der Wegstrecke mit entsprechenden Schwellenwerten verglichen. Liegt die Wegstrecke, der Abstand und das Objektalter jeweils über dem Schwellenwert, wird das Objekt als zu berücksichtigendes Objekt klassiert. Anderenfalls ist nicht auszuschließen, dass das Objekt ein Erfassungsfehler ist. Deshalb wird das Objekt in diesen Fällen nicht berücksichtigt .
Auch wenn in Fig. 1 nur ein Objekt 2 abgebildet ist, können selbstverständlich mehrere verschiedene Objekte gleichzeitig in denselben Bildern detektiert und als Tracks gespeichert werden. Für jedes der Objekte wird dann bestimmt, ob es sich um ein zu berücksichtigendes Objekt oder um einen möglichen Detektions- fehler handelt. Die Anzahl der Objekte, die als zu berücksichtigende Objekte bzw. Tracks klassiert wurden, wird für jedes Bild berechnet und an einen Nutzer ausgegeben. Hierdurch kann beispielsweise ein Kundenaufkommen innerhalb des ROI 1 bestimmt werden.
Anhand von Fig. 2 soll verdeutlicht werden, dass ein Abstand in X-Richtung nicht immer identisch zur zu- rückgelegten Wegstrecke in die entsprechende Richtung sein muss. Bewegt sich das Objekt 2 ausgehend von der Position 6 bezüglich seiner X-Richtung wieder auf die Startposition 3 zu, so dass es zur Position 11 gelangt, beträgt ein Abstand der aktuellen Position 11 zur Startposition 3 in X-Richtung null. Ein in X-
Richtung zurückgelegter Weg ist jedoch, ausgehend von der Position 6, weiter angestiegen, da die zwischen den einzelnen Bildern zurückgelegten Wege als Beträge aufaddiert werden. In den Fign. 3 bis 5 ist ein weiteres Ausführungsbei- spiel des erfindungsgemäßen Verfahrens dargestellt, wobei im Rahmen dieses Ausführungsbeispiels eine Verweildauer der Objekte bestimmt wird, die als zu berücksichtigende Objekte klassiert wurden. In Fig. 3 ist hierbei die Situation dargestellt, dass zwei Objekte 12 und 13 im Bildbereich 14 einer Überwachungs- kamera (beispielsweise eine Stereokamera oder TOF- Kamera) angeordnet sind. Beide Objekte 12 und 13 sind jedoch außerhalb des Überwachungsbereichs ROI 1. Ent- sprechend wird eine Objektposition der beiden Objekte
12 und 13 nicht genauer bestimmt und es werden keinerlei Daten über die Objekte gespeichert. Ebenso wird noch kein Ersterfassungszeitpunkt zugeordnet. In Fig, 4 ist dargestellt, dass sich das Objekt 12 von seiner ursprünglichen Position 15 außerhalb des ROIs 1 zu einer Position 16 innerhalb des ROIs bewegt. Sobald das Objekt 12 innerhalb des ROIs 1 nachgewiesen wird, wird eine Ersterfassungsposition, d.h. eine Position, bei der das Objekt zum ersten Mal innerhalb des ROIs 1 nachgewiesen wurde, in einer
Trackliste gespeichert. Es hat sich beispielsweise für die Personenzählung bzw. Personenerfassung als zweckdienlich erwiesen, dass die Trackliste derart ausgestaltet wird, dass sie bis zu 8 Objekte pro
Quadratmeter im Bild bzw. ROI liegender Bodenfläche aufnehmen kann. Für andere Anwendungen kann auch eine andere Zahl von Objekten pro Quadratmeter Bodenfläche sinnvoll sein. Diese Anzahl von Speicherplätzen ist üblicherweise groß genug um alle aktuellen Objekte zu speichern, während andererseits der Speicher nicht unnötig groß und somit kostenintensiv ist. Außerdem wird eine Ersterfassungszeit definiert. Bewegt sich das Objekt 12 nun innerhalb des ROIs wird das Objekt als zu berücksichtigendes Objekt oder als möglicher Sensorfehler klassiert, wie dies im Zusammenhang mit den Fign. 1 und 2 erläutert wurde. Das Objekt 13 bewegt sich zugleich von einer Position 17 zu einer Position 18, wobei beide Positionen außerhalb des ROIs 1 angeordnet sind. Entsprechend werden weiterhin keinerlei Daten über das Objekt 13 gespeichert.
Wie in Fig. 5 dargestellt, bewegen sich die Objekte 12 und 13 anschließend weiter. Das Objekt 13 verlässt den ROI 1 (auch als Überwachungsbereich bezeichnet) an einer Austrittsposition 19. Nach dem Verlassen des ROIs wird das Objekt zusammen mit seinem Ersterfas- sungsort und seinem Austrittsort sowie der Gesamtzeit, die es sich im ROI 1 aufgehalten hat, gespeichert. Beispielsweise können diese Daten an einen separaten Speicherort getrennt von den Informationen zu den aktuell im ROI befindlichen Objekten abgelegt werden. Im vorliegenden Beispiel werden die genannten Daten über die Objekte, die den ROI verlassen haben, in einem Ringpuffer 20 gespeichert. Ist der Ringpuffer 20 voll, wenn ein Objekt den ROI 1 verlässt und somit in dem Ringpuffer 20 gespeichert werden soll, wird ein Objekt im Ringpuffer 20, das schon am längsten gespeichert ist, überschrieben. Die Anzahl der überschriebenen Objekte wird ebenfalls gespeichert.
Das dargestellte Verfahren kann von einem Benutzer eines Überwachungskamerasystems beispielsweise über ein Webinterface gesteuert werden. Von dem Nutzer können während des Verfahrens jederzeit die Schwellenwerte für die Erfassungszeit, den Abstand oder die zurückgelegte Strecke, geändert werden. Ebenso kann der ROI 1 vom Nutzer jederzeit angepasst werden. Über das Webinterface können die im Ringpuffer gespeicherten Daten jederzeit abgerufen werden. Insbesondere ist ein automatisches Abrufen der im Ringpuffer gespeicherten Daten in vorgegebenen Zeitintervallen, die von einem Nutzer eingestellt werden können, möglich. Nach jeder Abfrage des Ringpuffers werden die ausgegebenen Daten aus dem Ringpuffer gelöscht, um zu vermeiden, dass dieselben Daten mehrfach berücksichtigt werden.
Jegliche ermittelten Daten können selbstverständlich auch statistisch aufgearbeitet werden. So kann beispielsweise eine zeitlich gemittelte Aufenthaltsdauer im ROI bestimmt werden. Ebenso kann eine gemittelte Anzahl der Objekte, die als zu berücksichtigende Objekte klassiert wurden, bestimmt werden.
Als besonders geeignet hat sich hierbei die Verwendung eines fließenden Mittelwertes Gn+i = a*F + (1- a) *Gn erwiesen. Gn+i ist hierbei der gemittelte Wert zum Zeitpunkt des Bildes n+1, a ist ein Parameter, der größer als 0 und kleiner als 1 ist, F ist der aktuelle Wert im Bild n+1 und Gn ist der gemittelte Wert für das Bild. Auch wenn das Verfahren vorangehend hauptsächlich bezogen auf Überwachungskämeras erläutert wurde, kann es prinzipiell auf beliebige zeitlich versetzte Bilder eines Bildbereichs angewendet werden.
Insgesamt kann das Verfahren auf verschiedensten Gebieten, beispielsweise der Kundenüberwachung zwecks VerkaufsOptimierung, der Überwachung einer Verkehrsdichte auf Straßen oder der Überwachung der Personendichte auf Großveranstaltungen zur Verbesserung der Sicherheit, verwendet werden. Es sei darauf hingewiesen, dass ein Verfahren wie in den Figuren 3 bis 5 dargestellt in einer alternativen Variante auch ohne eine Zählung von Objekten oder eine Ermittlung einer mittleren Verweildauer durchgeführt werden kann. In dieser alternativen Variante werden die aktuellen Objekte wie oben erwähnt in einer Trackliste gespeichert. Alle Objekte, die wie das Objekt 12 in den ROI eintreten, werden in der
Trackliste gespeichert. Sollte die Zahl der aktuell im ROI enthaltenen Objekte auf einen unplausibel hohen Wert anwachsen, kann bevorzugt eine Fehlermeldung erzeugt werden. Sobald die Objekte den ROI (dieser kann auch so gewählt werden, dass er den gesamten Bildbereich umfasst) wieder verlassen werden sie von der Trackliste in den Ringpuffer 20 überführt.
Jedesmal, wenn ein Objekt den ROI verlässt, wird das Objekt (bzw, eine Liste von Objekten, die den ROI verlassen haben) zugleich über eine Schnittstelle ausgegeben. Zusätzlich kann es noch aus dem Ringpuffer angefordert werden, d.h. der Nutzer kann sich auch eine Liste aller im Ringpuffer enthaltenen Objekte ausgeben lassen.
In dieser Ausführungsform können weitere Funktionen, wie ein Zählen von Objekten, durch ein Nutzereigenes, separates Gerät realisiert werden. Es werden also lediglich die Trackliste und die im Ringpuffer 20 gespeicherte Liste der Objekte, die den ROI verlassen haben, ausgegeben.
Ein Überwachungssystem zur Durchführung des Verfahrens ist in Figur 6 dargestellt. Das Überwachungssystem umfasst eine Kamera 21 und eine Vorrichtung 22 zur Auswertung von Bildern. Das Überwachungssystem ist zum Bestimmen der Ortskoordinate von Objekten mit einer Auflösung von mindestens 30 cm geeignet.
Die Vorrichtung 22 ist über einen Dateneingang 23 mit der Kamera 21 verbunden und zum Empfang von Bilddaten von der Kamera 21 eingerichtet. Die Vorrichtung 22 umfasst außerdem eine Steuereinheit 23, einen ersten Speicher 24 zur Speicherung der Trackliste sowie einen Ringspeicher 25 zur Speicherung der Liste der historischen Objekte (d.h. der Objekte die den Bildbereich oder ROI verlassen haben) . Die Speicher 24 und 25 können als Physikalisch separate Speicher ausgebildet sein oder auch nur Softwareseitig getrennt sein. Außerdem können die Speicher 24 und 25 derart ausgebildet sein, dass sie bei einem Neustart des ÜberwachungsSystems automatisch gelöscht werden, bzw. dass die Speicher im stromlosen Zustand automatisch geleert werden.
Zusätzlich kann ein nicht dargestellter Flash- Speicher vorhanden sein, in dem Daten gespeichert werden, die auch nach einem Neustart des Überwachungssystems erhalten bleiben sollen. Beispielsweise können im Flash-Speicher Konfigurationen des Überwachungssystems gespeichert werden.
Die Steuereinheit ist dazu eingerichtet, Objekte in durch die Kamera 21 eingegebenen Bildern zu erkennen und zu Tracken. Außerdem kann die Steuereinheit 23 Befehle über ein HMI empfangen. Hierzu ist die Steuereinheit 23 zur Ausgabe eines HMI über die Schnittstelle 26 und zum Empfang von über das HMI eingegebenen Daten ausgebildet. Beispielsweise kann über das HMI ein ROI eingestellt werden. Zusätzlich ist die Steuereinheit 23 mit einem MAPI 27 verbunden, wobei über das MAPI 27 ähnlich wie durch das HMI Befehle an die Steuereinheit 23 übermittelt werden Können.
In den Bildern erkannte Objekte werden durch die Steuereinheit 23 im Speicher 24 gespeichert. Die Steuereinheit 23 ist vorzugsweise dazu ausgebildet, eine Bewegung der Objekte zu erfassen und zu jedem Objekt einen zugehörigen Bewegungsvektor mit im Spei' eher 24 abzuspeichern. Sobald ein im Speicher 24 gespeichertes Objekt den ROI oder den Bildbereich der Kamera 21 verlässt, wird das Objekt vom Speicher 24 in den Ringspeicher 25 verschoben. Dieser kann beispielsweise etwa 100000 Speicherplätze für Objekte umfassen. Vorzugsweise kann die Anzahl der Speicherplätze für einen Nutzer einstellbar sein. Außerdem wird das entsprechende Objekt über das MAPI 27 ausge geben.
Über das MAPI ist es außerdem möglich, alle Objekte (entweder sowohl die im Speicher 24, als auch die im Speicher 25 gespeicherten Objekte oder auch nur die im Speicher 24 oder 25 gespeicherten Objekte) oder eine durch Filterkriterien (beispielsweise bestimmte Erfassungszeiten, Orte oder Objektkategorien) eingeschränkte Menge von Objekten auszulesen. Beispielsweise können alle Objekte ausgelesen werden, die zwi sehen zwei Ereignissen (beispielsweise einem Öffnen und einem Schließen einer Tür) erfasst wurden. Außer dem kann über das MAPI oder das HMI eingestellt werden, dass die in den Speichern 24 und 25 gespeicherten Objekte oder eine gefilterte Auswahl aus diesen Objekten in regelmäßigen Abständen (diese können vom Nutzer gewählt werden) automatisch ausgegeben werden Des Weiteren kann eingestellt werden, dass Listen, die über eine bestimmte Länge aufweisen, in mehrere Listenteile zerlegt werden, wobei diese nacheinander übertragen werden. Dies ist insbesondere dann vor- teilhaft, wenn die Liste zu groß ist, um sie auf einmal zu übertragen.
Außerdem ist das verwendete Zahlenformat (d.h. Ab- trennung der Dezimalstellen durch Punkt oder Komma) sowie das Datumsformat durch einen Nutzer über das HMI oder MAPI einstellbar.

Claims

Patentansprüche
Verfahren zur Auswertung von einer Mehrzahl zeitlich versetzter Bilder mit den Schritten:
- Detektieren von einer Mehrzahl von Objekten in einem ersten Bild und Speichern der Mehrzahl von Objekten jeweils mit einer Ersterfassungszeit und/oder einem Ersterfassungsort als Tracks, vorzugsweise in einer Trackliste,
- Detektieren einer Mehrzahl von Objekten in weiteren Bildern und Identifizieren der jeweils detektierten Objekte als dem jeweils gespeicherten Track zugeordnetes Objekt, wobei der jeweilige Track durch die aktuelle Position des identifizierten Objekts aktualisiert wird und in den jeweiligen weiteren Bildern jeweils erstmalig detektierte Objekte mit zugeordneten Tracks gespeichert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für mindestens eines der Bilder eine Anzahl der gespeicherten Tracks bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mindestens eine Liste von Objekten gespeichert und durch eine Schnittstelle zumindest teilweise ausgegeben wird, wobei die Liste vorzugsweise weiterverarbeitet wird, besonders vorzugsweise derart, dass die Liste zur Ermittlung von Zähllinien überschreitenden Objekten, zur Bewertung von Widereinsteigern in einen Teilbereich der Bilder, zur separaten Auswertung der Objektzahlen in mehreren Teilbereichen der Bilder, zur Zählung von in Warteschlangen stehenden Personen, zur Erstellung von
Heatmaps und/oder zur Erstellung von Statistiken zur Verweildauer verwendet wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Ausgeben der Liste zeitlich versetzt zum Speichern erfolgt.
Verfahren nach Anspruch3 oder 4, dadurch gekennzeichnet, das mehrere Listen zeitlich versetzt zueinander ausgegeben werden, wobei die mehreren Listen zusammen weiterverarbeitet werden, vorzugsweise derart, dass die Listen zusammen zur Ermittlung von Zähllinien überschreitenden Objekten, zur Bewertung von Widereinsteigern in einen Teilbereich der Bilder, zur separaten Auswertung der Ob ektzahlen in mehreren Teilbereichen der Bilder, zur Zählung von in Warteschlangen stehenden Personen, zur Erstellung von
Heatmaps und/oder zur Erstellung von Statistiken zur Verweildauer verwendet werden.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Liste von Objekten als Trackliste ausgebildet ist, wobei vorzugsweise die ausgegebene Trackliste für jedes in der Liste aufgeführte Objekt zumindest Informationen über einen Ort, an dem sich das jeweilige Objekt aktuell befindet, umfasst und wobei die ausgegebene Trackliste vorzugsweise Informationen über die Zeit der Ersterfassung der Objekte, den Ersterfassungsort und/oder die Zeit, zu der das Objekt zuletzt erfasst wurde, enthält.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass die Liste als Liste von Objekten, die einen Bildbereich verlassen haben, ausgebildet ist, wobei für jedes Objekt der Liste ein Eintrittsort in den Bildbereich, ein Austrittsort aus dem Bildbereich, eine Eintrittszeit in den Bildbereich, eine Aufenthaltsdauer im Bildbereich, eine Austrittszeit aus dem Bildbereich und/oder ein letzter Bewegungsvektor des Objekts in der Liste enthalten ist,
Verfahren mit den Merkmalen der Ansprüche 3 , 6 und 7, dadurch gekennzeichnet, dass sowohl eine Trackliste als auch eine Liste von Objekten, die einen Bildbereich verlassen haben, gespeichert wird, wobei Objekte, die den Bildbereich verlassen, von der Trackliste in die Liste von Objekten, die einen Bildbereich verlassen haben, verschoben werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass eine aus der Trackliste und/oder eine aus der Liste von Objekten, die einen Bildbereich verlassen haben, herausgefilterte Liste ausgegeben wird.
Verf hren nach Anspruch 9 , dadurch gekennzeichnet, dass eine Liste der Objekte herausgefiltert und ausgegeben wird, die zuletzt aus der Liste der aktuell im Bild enthaltenen Objekte in die Liste von Objekten, die einen Bildbereich verlassen haben, verschoben wurden. Verfahren nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, dass die Ausgabe der Liste immer dann erfolgt, wenn eine vorgegebene
Triggerbedingung erfüllt wird, wobei vorzugsweise als Triggerbedingung gewählt wird, dass ein Objekt den Bildbereich seit der letzten Ausgabe einer Liste verlassen hat.
Verfahren nach einem der Ansprüche 3 bis 11, dadurch gekennzeichnet, dass den Objekten der Liste ein weiteres Attribut, beispielsweise eine Objektkategorie oder Objektzone, zugeordnet ist und/oder dass die Liste abhängig von einem weiteren Attribut in Teillisten untergliedert ist.
Verfahren nach einem der Ansprüche 3 bis 12, dadurch gekennzeichnet, dass ein Ausgeben der Liste über ein HMI oder MAPI gesteuert werden kann.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet,
dass für die Objekte bzw. Tracks jeweils eine zurückgelegte Wegstreckenlänge, ein Abstand und/oder eine Zeitdifferenz von der Ersterfas- sungszeit als Erf ssungsdauer bestimmt wird, dass die Wegstreckenlänge, der Abstand und/oder die Erfassungsdauer mit einem jeweils vorgegebenen Schwellenwert verglichen werden und
dass die Objekte bzw. Tracks abhängig vom Ergebnis des Vergleichs jeweils als zu berücksichtigende Objekte bzw. Tracks oder als nicht zu berücksichtigende Objekte bzw. Tracks klassiert werden .
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die vorgegebe- nen Schwellenwerte vor oder während des Detek- tierens des mindestens einen Objekts durch einen Nutzer und/oder durch einen Optimierungsalgorithmus automatisch verändert werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Tracks jeweils nur dann beim Bestimmen der Anzahl von Tracks berücksichtigt und/oder nur dann als zu berücksichtigende Tracks klassiert werden, wenn das jeweilige entsprechende Objekt in einem vorgegebenen Teilbereich der Bilder angeordnet ist.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die bestimmte Anzahl der Tracks oder Objekte kontinuierlich oder in Abhängigkeit von einer Mehrzahl von Bildern oder auf Befehl eines Nutzers ausgegeben wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für die Objekte jeweils eine Austrittszeit aus der Mehrzahl von Bildern und/oder dem Teilbereich bestimmt und gespeichert wird.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die Ersterfassungszeit und die Austrittszeit und/oder eine Zeitdifferenz zwischen Ersterfassungszeit und Austrittszeit ausgegeben we den .
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Bilder Bildaufnahmen eines Bilderfassungssystems, vorzugsweise einer Kamera, wie einer Stereokamera, und besonders vorzugsweise in Echtzeit, ausgewertet werden.
21. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine zeitlich gemittelte Anzahl der Tracks und/oder eine zeitlich gemittelte Zeitdifferenz zwischen Erster- fassungszeit und Austrittszeit bestimmt werden.
22. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzei hnet, dass mehrere Objekte gespeichert werden, wobei nach Erreichen einer vorgegebenen Objektzahl und/oder nach Erreichen eines vorgegebenen Speicherbedarfs ein ältestes Objekt überschrieben wird.
23. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Objekte Personen oder Gepäckgegenstände sind.
24. Vorrichtung zur Auswertung von Bildern, ausgebildet und programmtechnisch eingerichtet zum Durchführen eines Verfahrens nach einem der vorangehenden Ansprüche .
25. Überwachungssystem mit mindestens einem Bilderfassungssystem, vorzugsweise einer Kamera und einer Vorrichtung nach Anspruch 24.
PCT/EP2012/052818 2011-02-18 2012-02-17 Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem WO2012110654A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112012000873T DE112012000873A5 (de) 2011-02-18 2012-02-17 Verfahren zur Auswertung einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
US14/000,107 US9589191B2 (en) 2011-02-18 2012-02-17 Method for evaluating a plurality of time-offset pictures, device for evaluating pictures, and monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011011931A DE102011011931A1 (de) 2011-02-18 2011-02-18 Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
DE102011011931.0 2011-02-18

Publications (1)

Publication Number Publication Date
WO2012110654A1 true WO2012110654A1 (de) 2012-08-23

Family

ID=45755338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/052818 WO2012110654A1 (de) 2011-02-18 2012-02-17 Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem

Country Status (3)

Country Link
US (1) US9589191B2 (de)
DE (2) DE102011011931A1 (de)
WO (1) WO2012110654A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854227A (zh) * 2012-12-07 2014-06-11 鸿富锦精密工业(深圳)有限公司 人际关系分析系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
JP6579925B2 (ja) * 2015-11-17 2019-09-25 キヤノン株式会社 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体
US11080864B2 (en) * 2018-01-08 2021-08-03 Intel Corporation Feature detection, sorting, and tracking in images using a circular buffer

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104960A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis spawning and local pruning
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
US20080166045A1 (en) * 2005-03-17 2008-07-10 Li-Qun Xu Method of Tracking Objects in a Video Sequence
US20080231709A1 (en) * 2007-03-20 2008-09-25 Brown Lisa M System and method for managing the interaction of object detection and tracking systems in video surveillance
US20090110236A1 (en) * 2007-10-29 2009-04-30 Ching-Chun Huang Method And System For Object Detection And Tracking
US20100046797A1 (en) * 2008-08-20 2010-02-25 SET Corporation Methods and systems for audience monitoring

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
US6945303B2 (en) * 2000-08-24 2005-09-20 Weik Iii Martin Herman Intruder, theft and vandalism deterrent management system for controlling a parking area
TWI282941B (en) * 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification
US20020161780A1 (en) * 2001-04-26 2002-10-31 International Business Machines Corporation Browser rewind and replay feature for transient messages wherein the messages are stored automatically when they are initially rendered and replayed when selected
US7218227B2 (en) * 2002-05-07 2007-05-15 Argo-Tech Corporation Tracking system and associated method
US7298867B2 (en) * 2004-02-20 2007-11-20 Lockheed Martin Corporation Component association tracker system and method
US7606425B2 (en) * 2004-09-09 2009-10-20 Honeywell International Inc. Unsupervised learning of events in a video sequence
EP1821237B1 (de) * 2006-02-15 2010-11-17 Kabushiki Kaisha Toshiba Vorrichtung und Verfahren zur Personenidentifizierung
JP4429298B2 (ja) * 2006-08-17 2010-03-10 独立行政法人産業技術総合研究所 対象個数検出装置および対象個数検出方法
AT422185T (de) * 2006-08-24 2009-02-15 Harman Becker Automotive Sys Verfahren zum abbilden der umgebung eines fahrzeugs und system dafür
JP2009116600A (ja) * 2007-11-06 2009-05-28 Mitsubishi Electric Corp 入退室管理システム
CN101918989B (zh) * 2007-12-07 2013-02-13 常州环视高科电子科技有限公司 带有对象跟踪和检索的视频监控系统
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US8615105B1 (en) * 2010-08-31 2013-12-24 The Boeing Company Object tracking system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US20050104960A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis spawning and local pruning
US20080166045A1 (en) * 2005-03-17 2008-07-10 Li-Qun Xu Method of Tracking Objects in a Video Sequence
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
US20080231709A1 (en) * 2007-03-20 2008-09-25 Brown Lisa M System and method for managing the interaction of object detection and tracking systems in video surveillance
US20090110236A1 (en) * 2007-10-29 2009-04-30 Ching-Chun Huang Method And System For Object Detection And Tracking
US20100046797A1 (en) * 2008-08-20 2010-02-25 SET Corporation Methods and systems for audience monitoring

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GRZEGORZ SZWOCH ET AL: "Identification of regions of interest in video for a traffic monitoring system", INFORMATION TECHNOLOGY, 2008. IT 2008. 1ST INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 18 May 2008 (2008-05-18), pages 1 - 4, XP031319250, ISBN: 978-1-4244-2244-9 *
HUTTENLOCHER D P ET AL: "Tracking non-rigid objects in complex scenes", COMPUTER VISION, 1993. PROCEEDINGS., FOURTH INTERNATIONAL CONFERENCE O N BERLIN, GERMANY 11-14 MAY 1993, LOS ALAMITOS, CA, USA,IEEE COMPUTER SOCI, 11 May 1993 (1993-05-11), pages 93 - 101, XP010128640, ISBN: 978-0-8186-3870-1, DOI: 10.1109/ICCV.1993.378231 *
JACINTO C NASCIMENTO ET AL: "Trajectory Classification Using Switched Dynamical Hidden Markov Models", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 19, no. 5, 1 May 2010 (2010-05-01), pages 1338 - 1348, XP011328536, ISSN: 1057-7149, DOI: 10.1109/TIP.2009.2039664 *
MCKENNA S J ET AL: "Tracking interacting people", AUTOMATIC FACE AND GESTURE RECOGNITION, 2000. PROCEEDINGS. FOURTH IEEE INTERNATIONAL CONFERENCE ON GRENOBLE, FRANCE 28-30 MARCH 2000, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 28 March 2000 (2000-03-28), pages 348 - 353, XP010378283, ISBN: 978-0-7695-0580-0, DOI: 10.1109/AFGR.2000.840658 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854227A (zh) * 2012-12-07 2014-06-11 鸿富锦精密工业(深圳)有限公司 人际关系分析系统及方法

Also Published As

Publication number Publication date
DE112012000873A5 (de) 2013-11-21
US9589191B2 (en) 2017-03-07
DE102011011931A1 (de) 2012-08-23
US20140037141A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
DE112014007249B4 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE60224324T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
DE102013210836A1 (de) Erkennen eines bewegungslosen Gegenstands auf Kreuzungen von Verkehrswegen
DE102014210820A1 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
EP0815539B1 (de) Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE10319700A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
DE102015117379A1 (de) Verfahren zum Erfassen eines dynamischen Objekts in einem Umgebungsbereich eines Kraftfahrzeugs auf Basis von Informationen einer kraftfahrzeugseitigen Ultraschalldetektionseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
EP1346330B1 (de) Video-rauchdetektionssystem
WO2007131470A1 (de) Vorrichtung und verfahren zum bestimmen eines freiraums vor einem fahrzeug
EP2517149A2 (de) Vorrichtung und verfahren zum überwachen von videoobjekten
WO2012110654A1 (de) Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
WO2019042728A2 (de) Erfassen von verkehrsteilnehmern auf einem verkehrsweg
WO2019201565A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
DE102008007152B4 (de) Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
DE102009048118B4 (de) Verfahren und Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank
EP2254104B1 (de) Verfahren zum automatischen Erkennen einer Situationsänderung
DE102017217872A1 (de) Verbesserte Ansicht eines Kraftfahrzeugumfelds
WO2013083327A1 (de) Vorrichtung und verfahren zur automatischen detektion eines ereignisses in sensordaten
DE102010053150A1 (de) Verfahren und Vorrichtung zur Auswertung einer Verkehrslage
EP1852307B1 (de) Einrichtung und Verfahren zur Überwachung des toten Winkels bei Fahrzeugen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12705285

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112012000873

Country of ref document: DE

Ref document number: 1120120008731

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 14000107

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112012000873

Country of ref document: DE

Effective date: 20131121

122 Ep: pct application non-entry in european phase

Ref document number: 12705285

Country of ref document: EP

Kind code of ref document: A1