WO2005088541A1

WO2005088541A1 - Echtzeit-bewegungsanalysevorrichtung

Info

Publication number: WO2005088541A1
Application number: PCT/DE2005/000318
Authority: WO
Inventors: Hendrik Fehlis; Thorsten Mika
Original assignee: Hendrik Fehlis; Thorsten Mika
Priority date: 2004-03-08
Filing date: 2005-02-25
Publication date: 2005-09-22
Also published as: EP1725986A1

Abstract

Die Erfindung betrifft eine Echtzeit-Bewegungsanalysevorrichtung für sich bewegende Objekte (14) in einem Raum. Diese weist einen Zentralrechner (18), mindestens eine Bildverarbeitungseinheit (16) und eine Vielzahl von Kameras (10) auf, die den Raum derart überblicken, dass jede Position im Raum stets von mindestens zwei Kameras (10) überblickt wird. Die Bildverarbeitungseinheiten (16) sind untereinander, mit den Kameras (10) und dem Zentralrechner verbunden. Die Kameras (10) produzieren jeweils Videobilder des Raumes, wobei jedes Objekt (14) von mindestens zwei Kameras (10) aus unterschiedlichen Blickwinkeln aufgenommen wird. Die Bildverarbeitungseinheit (16) berechnet aus den Videobildern mathematische Merkmale, beispielsweise Schwerpunktkoordinaten in X-Y Richtung und die Ausdehnung der Objekte (14) und leitet die Ergebnisse an den Zentralrechner (18) weiter. Dieser berechnet aus Daten sich kreuzender Videobilder unter Berücksichtigung der kalibrierten Lage der Kameras (10) (14) die dreidimensionale Position des Objektes (14) in dem Raum.

Description

Bezeichnung: Echtzeit-Bewegungsanalysevorrichtung

Die vorliegende Erfindung betrifft eine Echtzeit-Bewegungsanalysevorrichtung für sich bewegende Objekt in einem Raum. Mit Hilfe von Kameras, vorzugsweise Videokameras wird der zu überwachende Raum aufgenommen, und die von den Kameras gewonnenen Bilder werden derart aufbereitet, dass die Bewegungen alle sich bewegenden Objekte analysiert werden können.

Derartige Verfahren und die Vorrichtungen eignen sich insbesondere für die Aufzeichnung und Analyse von Sportveranstaltungen z.B. auf einem Sportfeld. Die Echtzeit-Bewegungsanalyse bietet sich für Mannschafts-Sportarten, wie Fußball, oder Volleyball an.

Die Idee, die tatsächliche Bewegungsaktivität von sich bewegenden Objekten (Spielern, Schiedsrichtern, Geräten ....) während Sportspielen besser analysieren zu können, ist nicht neu, vielmehr sind im Stand der Technik verschiedene Vorrichtungen und Verfahren bekannt, die eine solche Analyse ermöglichen. Den Sportlern oder ihren Trainern werden Daten zur Verfügung gestellt, mit denen die Leistung der Sportler ausgewertet werden kann, z. B. kann es bei Fußballspielen oder ähnlichen Mannschaftssportarten wichtig sein, zu wissen, welche Laufwege ein Spieler während des Spiels oder in bestimmten Situationen zurückgelegt hat. Auch kann es sinnvoll sein, zu analysieren, in welchen Bereichen sich wesentliche Spielszenen schwerpunktmäßig abgespielt haben.

Weiterhin dienen Echtzeit-Bewegungsanalysevorrichtungen bzw. Verfahren dazu, Zuschauern die tatsächliche Leistung der Spieler bei Sportereignissen sozusagen lesbarer und verständlicher darzustellen. Hierzu gehört z. B., dass der Zuschauer jeden Spieler stets identifizieren kann. Dies kann beispielsweise dadurch erleichtert werden, dass auf einem Monitor bzw. Fernsehgerät jederzeit Namen und Rückennummern eingeblendet werden können. Auch können Echtzeit- Bewegungsanalysevorrichtungen helfen, besondere Spielsituationen, wie beispielsweise das Abseits beim Fußball, im Nachhinein besser aufzulösen.

Bei Mannschaftssportarten liegt es in der Natur der Sache, dass sich meist eine Vielzahl von Spielern auf engstem Raum aufhalten. Dies führt beispielsweise dann zu Problemen der Identifikation der Spieler, wenn diese sich gegenseitig verdecken. Dies gilt im Besonderen auch für das Spielgerät, also z. B. den Fuß- ball oder den Volleyball.

Beispielsweise beschreibt die WO 02/071334 A2 ein Verfahren und ein System, um Daten bezüglich der Bewegung eines Sportlers auf einem Spielfeld zu erheben. Mit Hilfe eines kalibrierten Videobildes des Spielfeldes wird die Position des Spielers auf dem Spielfeld in einer zweidimensionalen Ebene bestimmt. Die Vorrichtung weist zu diesem Zweck eine Vielzahl von Kameras auf, die das Spielfeld überblicken und aufnehmen. Das zu beobachtende Objekt, beispielsweise der Spieler, bewegt sich über das Spielfeld und wird dabei je nach seiner Position von einer anderen Kamera gefilmt bzw. aufgenommen. Seine Position wird dann über diese eine, ihn aufnehmende Kamera bestimmt. Die Position wird dabei nur zwei- dimensional berechnet. Kommt es zu Verdeckungen in einem Videobild, bestimmt eine Person manuell die Position des verdeckten Spielers. Alternativ kann die Position aber auch über eine andere Kamera, für die der Spieler nicht verdeckt ist, bestimmt werden.

Die WO 03/056809 AI offenbart ein ähnliches System. Das beschriebene System dient der automatischen Anzeige beweglicher Objekte in Echtzeit innerhalb eines begrenzten Raumes, beispielsweise eines Spielfeldes. Auch in diesem System decken Überwachungskameras diesen Bereich ab und nehmen die beweglichen Objekte auf, um in Echtzeit Daten über die Position der beweglichen Objekte aus den Videobildern zu bestimmen. Im Gegensatz zum bereits beschriebenen System aus der WO 02/071334 A2 werden Hilfskameras eingesetzt, die im Bedarfsfall eine der Überwachungskameras unterstützen. Diese Hilfskameras dienen insbesondere dazu, dann eine bessere Bestimmung der Objekte vornehmen zu können, wenn sich diese in einem bestimmten Punkt konzentrieren. Es wird dann eine Hilfskamera bestimmt, die am besten positioniert ist, um der eigentlichen Ü- berwachungskamera zu helfen und gemeinsam mit ihr diesen Konzentrationspunkt aufzunehmen. Ein weiterer Schwerpunkt dieses Systems besteht darin, die auftretenden Konzentrationspunkte vorauszuberechnen, um rechtzeitig eine Hilfskamera bestimmen zu können. Auch bei diesem System werden die zu berechnenden Daten im Wesentlichen im Wechsel aus nur einer Überwachungskamera gewonnen. Hilfskameras werden nur dann genutzt, wenn eine hohe Konzentration von Spielern auf einer bestimmten Fläche auftritt. Die Bestimmung der Positionen erfolgt ebenfalls anhand zweidimensionaler Daten.

Ebenfalls bekannt ist die WO 00/31560, die ein speziell für Eishockey ausgelegtes System beschreibt. Bei diesem werden lediglich Bewegungen in X- und Y- Richtung der Spieler erkannt, zusätzliche Kameras sind im Bereich der Tore installiert, um auch die Höhe des Pucks berechnen zu können. Bei diesem System ist es jedoch notwendig, Schläger, Helm, Trikot und Puck mit Marken zu versehen, dessen spezielle Farbe Infrarotlicht reflektiert, Die aktive Beleuchtung der Marker wird durch Lichtquellen nahe den Kameras in Verbindung mit Infrarot- Schmalbandfiltern vor den Kameras realisiert. Alle Kameras werden möglichst senkrecht zum Boden ausgerichtet, wobei je Fläche nur eine Kamera verwendet wird. Auch bei diesem System erfolgt die Messung bzw. Berechnung der Positionen zweidimensional. Nur im Bereich des Tores berechnet eine Volumen- Tracking-Matrix auch die Höhe, also dreidimensionale Werte.

Alle beschriebenen Vorrichtungen und Systeme sind verhältnismäßig aufwendig und berechnen dennoch fast ausschließlich zweidimensionale Daten. So ist es nicht möglich, beispielsweise die Position eines Balls während eines gesamten Fußballspiels ohne Einwirkungen auf die Spieler und den Ball dauerhaft zu bestimmen. Insbesondere ist es nicht möglich, die Höhe des Balles oder auch beispielsweise bei Sprüngen der Spieler, deren Abstand zum Boden zu bestimmen. Gerade diese Informationen sind aber für eine vollständige und sinnvolle Analyse eines Sportspiels wesentlich.

Zusammenfassend lässt sich also feststellen, dass es zwar eine Vielzahl von Vorrichtungen und Verfahren gibt, die eine Echtzeit-Bewegungsanalyse in vereinfachter Form erlauben, jedoch meist das Problem der Berechnung der genauen dreidimensionalen Position jedes beweglichen Objekts zu jedem Zeitpunkt und unter Minimierung der Gefahr von Verwechslung von Spielern nicht zufrieden stellend lösen.

Die Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung und ein Verfahren für eine Echtzeit-Bewegungsanalyse für sich bewegende Objekte in einem Raum zu schaffen, die es erlauben, die Position jedes Objektes in dem Raum zu jeder Zeit in allen drei Dimensionen bestimmen zu können. Insbesondere soll es möglich sein, auch die Position von Objekten bestimmen zu können, die einen gewissen Abstand zum Untergrund aufweisen bzw. soll es möglich sein, den Abstand dieser Objekte genau bestimmen zu können. Mit Hilfe des Verfahrens und der Vorrichtung soll die Identifikation der Objekte zu jedem Zeitpunkt der Überwachung möglich sein. Die Vorrichtung soll dabei möglichst einfach aufzubauen und kostengünstig herstellbar sein. Die generierten Daten sollen einem Betrachter ermöglichen, eine Vielzahl unterschiedlicher Analysen bezüglich der Bewegungen der Objekte vornehmen zu können. Die Vorrichtung bzw. das Verfahren dürfen keinesfalls störenden Einfluss auf die zu beobachtenden Szenen oder Spiele haben. Die Installierung von Einrichtungen, die die Spieler oder die anderen sich bewegenden Objekt betreffen, sollten vermieden werden.

Erfindungsgemäß wird die Aufgabe durch eine Echtzeit- Bewegungsanalysevorrichtung für sich bewegende Objekte in einem Raum mit - einem Zentralrechner , - mindestens einer Bildverarbeitungseinheit , - einer Vielzahl von Kameras , die den Raum derart überblicken, dass jede Position im Raum stets von mindestens zwei Kameras überblickt wird, wobei - sich jede Bildverarbeitungseinheit mit mindestens einer Kamera und alle Kameras jeweils mit mindestens einer Bildverarbeitungseinheit im Datenaustausch befinden, - sich jede Bildverarbeitungseinheit zumindest mittelbar mit dem Zentralrechner im Datenaustausch befindet, - die Kameras jeweils Videobilder des Raumes produzieren, die an die Bildverarbeitungseinheit übermittelt werden, wobei jedes Objekt von mindestens zwei Kameras aus unterschiedlichen Blickwinkeln aufgenommen wird, - die Bildverarbeitungseinheit aus den Videobildern mathematische Merkmale, beispielsweise die Schwerpunktkoordinaten in X-Y Richtung und die Ausdehnung der Objekte berechnet, sowie die Daten der Objekte aus den Daten ihrer Umgebung extrahiert, und die Ergebnisse an den Zentralrechner weiterleitet, - der Zentralrechner aus von den Bildbearbeitungseinheiten übermittelten Daten sich kreuzender Videobilder unter Berücksichtigung kalibrierter Lagen der Kameras im Raum die dreidimensionale Position der Objekte im Raum errechnet, gelöst.

Weiterhin wird die Aufgabe durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst.

Der Begriff Raum ist im Zusammenhang dieser Erfindung lediglich in Bezug auf alle drei Dimensionen zu verstehen. Insofern ergibt sich der Raum aus dem von den Kameras aufgenommenen Bereich, der nicht durch beispielsweise Wände begrenzt sein muss.

Die erfindungsgemäße Vorrichtung bzw. das erfϊndungsgemäße Verfahren ermöglicht erstmals die Berechnung der dreidimensionalen Positionen sämtlicher Objekte innerhalb des zu überwachenden Raumes. Es ist also möglich, den Abstand aller Objekte zum Boden in die Analysen mit einzubeziehen. Dies wiederum führt dazu, dass die erfindungsgemäße Vorrichtung, bzw. das erfindungsgemäße Verfahren erheblich größere Analysemöglichkeiten zulässt. So ist es gerade bei Fußballspielen vorteilhaft, wenn beispielsweise bei hoch gespielten Bällen (Flanken, hohe lange Pässe) deren Flugbahn genau bestimmt werden kann. Auch können Sportarten analysiert werden, bei denen gerade diese dritte Dimension entscheidend ist. So eignet sich die Erfindung beispielsweise auch für Volleyball, Badminton, Tennis und ähnliche Sportarten.

Es erfolgt eine ständige Berechnung aller Objekte, Hilfskameras und ein Umschalten zwischen den Kameras ist nicht erforderlich.

Ein weiterer wesentlicher Vorteil der Erfindung besteht darin, dass jedes Objekt permanent von mindestens 2 Kameras aufgenommen wird. Dadurch wird die Wahrscheinlichkeit, dass sich Objekte gegenseitig verdecken, deutlich reduziert. Je nach Anzahl und Anordnung der Kameras kann eine Überdeckung sogar nahezu ausgeschlossen werden. Nur in äußerst seltenen Fällen kann es passieren, dass bereits identifizierte Objekte auf Grund von sehr hoher Konzentration von Objekten auf kleinem Raum ihre Identifikation verlieren und diese manuell wieder zugeordnet werden muss.

Die Erfindung basiert im Wesentlichen darauf, dass möglichst viele Überwachungskameras in ihrer Gesamtheit den gesamten zu überwachenden Bereich überblicken. Von den bekanten Positionen der Kameras wird ein „Strahl" oder werden mehrere Strahlen zu den Objekten berechnet. Durch Kreuzung von mindestens zwei Strahlen errechnet sich die dreidimensionale Position des Objektes. Später werden dann weitere Algorithmen zur sicheren Verfolgung und Identifizierung der Objekte nachgeschaltet.

Die optischen Parameter des Objektives und der Kamera werden vorzugsweise vorab in einem Labor vermessen. Die Kalibrierung der Kameraparameter benötigt als Eingabedaten eine Zuordnung dreidimensionaler Punktkoordinaten eines Eichkörpers zu deren zweidimensionalen Pixelkoordinaten im Kamerabild.

Anschließend wird die Position und Orientierung aller Kameras vor Ort bezüglich des Weltkoordinatensystems ermittelt. Zur Berechnung sind die Ergebnisse der zu vorigen Objektivkalibrierung notwendig.

Die Kameras werden also zunächst derart angeordnet, dass sie in ihrer Gesamtheit den zu überwachenden Raum vollständig einsehen können. Dabei ist notwendig, dass jeder Punkt des Raumes von mindestens zwei Kameras eingesehen wird. Die von den Kameras überwachten Bereiche müssen sich also derart überlappen, das ein Objekt vor verlassen des Überwachungsbereichs zweier Kameras bereits von einer nächsten Kamera erfasst werden kann.

Anschließend erfolgt die Kalibrierung der Kameras anhand von bekannten Punkten innerhalb des Raumes. Dies können beispielsweise bereits vorhandene Linien auf einem Spielfeld oder ein beweglicher Eichkörper sein. Wird ein beweglicher Eichkörper verwendet, sollten seine Bewegungsbahnen möglichst alle Bereiche der Kamerabilder bzw. des zu überwachenden Raumes abdecken. Während der Kalibrierung der Lage aller Kameras erfolgt eine Datenaufnahme.

Als Position einer Kamera werden die dreidimensionalen Koordinaten ihres Projektionszentrums innerhalb des zuvor festgelegten Weltkoordinatensystems ausgegeben. Die Orientierung einer Kamera wird in Form ihrer eulerschen Winkel (Schwenk-, Neige- und Rollwinkel) bezüglich des gleichen Koordinatensystems ausgegeben.

Anschließend erfolgt die Bestimmung der Bildkoordinaten der zu verfolgenden Objekte oder Objektgruppen. Als Eingabedaten stehen z.B. die Färb-, Videosignale der Sensorkamera zur Verfügung. Durch Einsatz eines Bildverarbeitungsverfahren können die zu verfolgenden Objekte extrahiert werden. Dabei wählt der Benutzer aufgrund der Umgebungsbedingungen ein geeignetes Verfahren, z.B. ein Keyingverfahren aus.

Neben einer Vielzahl verschiedener Verfahren kann er dabei beispielsweise das Chroma- Key- Verfahren, das Differenz-Key-Verfahren oder die so genannte Kan- tendetektion verwenden.

Nach der Auswahl des geeigneten Verfahrens stellt der Benutzer die erforderlichen Verfahrensparameter für jede Kamera ein. Der Benutzer legt dabei ebenfalls fest, welche Bildbereiche der jeweiligen Kamera von der weiteren Verarbeitung ausgeschlossen werden. Ein solcher Ausschluss muss nicht erfolgen, kann aber je nach Umgebung sinnvoll sein. Beispielsweise können Tribünen, Gebäude, Waldbereiche oder ähnliches für die Analyse ausgeblendet werden. Das Ergebnis der jeweiligen Einstellung wird dem Benutzer als Graustufen oder Binärbild angezeigt.

Das so gewonnene binarisierte Bild wird im nächsten Schritt beispielsweise in Gruppen von zusammenhängenden Objektpixeln segmentiert, die als so genannte „Blobs" weiterverarbeitet werden. Jeder „Blob" repräsentiert dabei das potentielle Abbild eines Objekts (z.B. des Balles oder Spielers) auf dem Spielfeld. Die mathematischen Merkmale, beispielsweise die Schwerpunktkoordinaten (X, Y) und die Ausdehnung jedes „Blobs" werden im Videobild bzw. anhand der Vi- deobilder berechnet. Diese Daten werden von jeder Bildverarbeitungseinheit an den Zentralrechner übermittelt.

Es folgt die genaue Positionsberechnung der Objekte mit einem so genannten Matching- und Triangulationsverfahren. Der Zentralrechner berechnet in einem Trackingverfahren anhand der Ergebnisdaten der Bildverarbeitungseinheit(en) in Echtzeit die dreidimensionale Position der Objekte bezüglich des Weltkoordinatensystems. Je nach Genauigkeit bzw. je nach Auflösung der Daten, ist es grundsätzlich auch möglich, die Position von Körpergliedmaßen zu berechnen. Dies wiederum ist bei keinem bisher bekannten Verfahren möglich. Es können also nicht nur Bewegungsrichtungen bzw. Bewegungen gesamter Objekte aufgezeichnet und analysiert werden, es ist auch möglich, Körpergliedmaßen mit in die Analyse einzubeziehen.

Im Rahmen des Trackingverfahrens werden zunächst alle Objektiv- und Lageparameter jeder Kamera eingelesen. Im weiteren Verlauf werden mehrmals pro Sekunde die sich während des Spiels bzw. während der Beobachtungsdauer laufend ändernden Merkmal-Daten („Blob") von jeder Bildverarbeitungseinheit entgegen genommen. Anhand dieser Daten ordnet ein Matching-Verfahren die verschiedenen Merkmale denselben Objekten zu.

Es folgt die Berechnung der 3D Position der Objekte Die Matching- und Triangulationsverfahren enthalten verschiedene Konsistenzprüfungen, die die Wahrscheinlichkeit von falschen Zuordnungen und somit falschen Objektidentifikationen verringern. Bei Bedarf ist es möglich, eine Glättung und/oder Interpolation von Objekt-Positionen nachzuschalten.

Als Ergebnis werden die X-, .Y- und Z-Positionen der Objekte innerhalb des Raums berechnet und können direkt an eine Datenbank oder ähnliches übertragen werden. Diese kann dann entsprechende Schnittstellen zu weiteren Anwendungen, z.B. Mobilfunk, Fernsehen, Internet etc, aufweisen. Es folgt eine semiautomatische oder automatische Zuordnung der Objekte zu Bezeichnungen oder Namen. In diesem Schritt werden also beispielsweise den Objekten die Namen der Spieler oder deren Rückennummern zugeordnet.

Diese Zuordnung kann je nach zu überwachenden Raum oder zu überwachender Veranstaltung automatisch erfolgen, nämlich dann wenn beispielsweise Positionen bestimmter Personen oder Gegenstände der Aufzeichnung bekannt sind. Die Zuordnung kann jedoch im Bedarfsfall auch manuell durch einen Benutzer erfolgen. Die Objektidentifizierung erfolgt in der Regel nur einmal und es folgt eine automatische Nachführung einer eindeutigen Identifikationsnummer für jedes Objekt. Erfindungsgemäß kann vorgesehen sein, dass alle identifizierten und nicht identifizierten Objekte durch besondere Maßnahmen visualisiert werden, so das ein Benutzer auf den ersten Blick erkennen kann, welche Objekte nicht identifiziert sind. Es kann beispielsweise eine zweidimensionale Grafik einer Aufsicht genutzt werden. Der Benutzer kann anhand dieser Darstellung eine erneute oder abgeänderte Zuordnung im Bedarfsfall jederzeit vornehmen. Die Objektnamen werden gemeinsam mit den Objektpositionen und Identifikationsnummern über ein Netzwerk an ein geeignetes Darstellungssystem übertragen.

Als Ergebnis erhält also jedes Objekt innerhalb des Raumes automatisch eine eindeutige Identifikationsnummer. Möglichst jeder Identifikationsnummer kann eine Bezeichnung, beispielsweise ein Spielername zugeordnet werden. Bei einer fehlenden Zuordnung erhält der Benutzer eine visuelle Rückmeldung und kann eine manuelle Zuordnung vornehmen. Die Identifikationsnummern werden über das gleiche Netzwerk verschickt, das die Positionsdaten an das entsprechende Darstellungs- oder "weiterverarbeitende System" verschickt. Erfindungsgemäß ist es möglich, das dann, wenn eine Identifikation während des Überwachungszeitraums verloren ging, diese neu zu bestimmen und zeitlich rückwirkend zuzuordnen. Dies bedeutet, dass beispielsweise dann, wenn der Verlust einer zugeordneten Identifikation nicht sofort aufgefallen ist, diese dann später manuell zugeordnet werden kann, woraufhin beim wiederholten Betrachten der Aufzeichnung das Objekt über den gesamten Zeitraum identifiziert ist. Zeitliche Identifikationslücken können also nachträglich geschlossen werden. Mit Hilfe des erfindungsgemäßen Systems ist es auch möglich, alle gemessenen bzw. ermittelten Daten in einer Datenbank zu speichern und später relevante Berechnungen durch zu führen. Beispielsweise können im Nachhinein zurückgelegte Laufstrecken bzw. Laufwege der Spieler, Ballkontakte, Kopfbälle und ähnliches berechnet werden.

Die Verbreitung der Daten kann über alle geeigneten Medien erfolgen. Es bietet sich insbesondere Mobilfunk, Internetanlagen oder Fernsehen, sowie die Verwendung von SetTopboxen an, digitales Fernsehen und so weiter an, die die Daten entsprechend aufbereiten und darstellen.

Wie bereits angedeutet, können nicht nur die Positionen der Objekte sondern zum Beispiel auch die Positionen von Gliedmaßen berechnet werden. Dadurch kann von jedem Spieler ein Körpermodel erstellt werden. Dies wiederum hat für die grafische Aufbereitung und Visualisierung der Daten eine große Bedeutung. Während die reinen Positionsdaten der Objekte nur als Punkt auf einer zweidi- mensionalen Grafik dargestellt werden können, kann nun ein dreidimensionales Model der Szenerie erstellt werden. Damit wird beispielsweise bei einem Fußballspiel deutlich, wie zum Beispiel ein Spieler den Ball geschossen, den Gegner umlaufen oder gestürzt ist.

Besondere Vorteile des erfindungsgemäßen Systems liegen beispielsweise auch darin, dass immer alle Kameras (sozusagen gleichberechtigt) zusammenarbeiten. Es wird lediglich ein Zentralrechner zur Berechnung aller Positionen sämtlicher Objekte und zu ihrer Identifizierung verwendet. Auch werden keine Bilder aufgezeichnet, sondern es wird unmittelbar eine Bildverarbeitung eingesetzt, lediglich berechnete Daten werden gespeichert. Auch werden nur berechnete Daten an den Zentralrechner gesendet, was die Leistungsfähigkeit und Geschwindigkeit des Systems verbessert.

Es wird ausdrücklich darauf ingewiesen, dass die Erfindung zwar im Zusammenhang mit Sportveranstaltungen erläutert wird, sie jedoch nicht darauf reduziert ist. Dadurch, dass nahezu jederzeit alle Objekte sicher identifizierbar sind, eignet sich die Erfindung insbesondere auch für die Überwachung sicherheitsrelevanter Bereiche. So ist zum Beispiel denkbar, Gebäude, Banken, Flughäfen, Straßenkreuzungen oder öffentlich zugängliche Plätze mit einem solchen System auszustatten. Eine einmal identifizierte Person kann dann jederzeit sicher beobachtet und verfolgt werden. Auch kann die erfindungsgemäße Vorrichtung bzw. das erfindungsgemäße Verfahren helfen, beispielsweise Flugverkehr zu überwachen. Die Erfindung ist somit also nicht nur auf die beispielhaft erläuterten Sportveranstaltungen beschränkt, sondern eignet sich viel mehr für alle Anwendungsbereiche, in denen Objekte in drei Dimensionen in einem Raum in Echtzeit überwacht und analysiert werden sollen.

Das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung ermöglicht weiterhin die dreidimensionale Aufnahme der Szenerie vor Beginn der eigentlichen Aufzeichnung. Allen weiteren Aufnahmen liegt dann sozusagen eine Topographiekarte zu Grunde, was wiederum deutlich verbesserte Analysemöglichkeiten ermöglicht. Eine derartige Topographie Aufnahme kann beispielsweise bei Golfveranstaltungen, bei der Flughafenüberwachung oder bei Ski- Langlaufveranstaltungen sinnvoll sein.

Anhand der nachfolgenden Figurenbeschreibung wird die Erfindung näher erläutert. Weitere Vorteile und Ausführungsformen ergeben sich weiterhin aus den Ansprüchen.

Es zeigen:

Fig. 1 : Eine beispielhafte Darstellung der Anordnung von Kameras um ein Fußballfeld,

Fig. 2: Eine Prinzipdarstellung der erfindungsgemäßen Echtzeit- Bewegungsanalysevorrichtung.

Figur 1 zeigt beispielhaft die Anordnung von Kameras 10 um ein Fußballfeld 12. Im vorliegenden Beispiel werden acht Kameras 10 eingesetzt, die Anzahl ist jedoch beliebig und lediglich davon abhängig, dass alle Bereiche des zu überwachenden Raumes, hier des Fußballfeldes 12, von mindestens zwei Kameras ein- sehbar sein müssen. Beispielsweise kann es sinnvoll sein, eine weitere Kamera 10 zentral oberhalb des Spielfeldes anzuordnen, sodass diese das gesamte Fußballfeld 12 vertikal von oben einsehen kann. Beispielhaft sind auf dem Fußballfeld 12 als zu überwachende Objekte 14 Fußballspieler und ein Ball dargestellt. Deren Position wird zu jedem Zeitpunkt an jeder Position in allen drei Dimensionen bestimmt.

Figur 2 verdeutlicht den grundsätzlichen Aufbaus einer erfindungsgemäßen Vorrichtung. Diese besteht aus den Kameras 10, die jeweils mit mindestens einer Bildverarbeitungseinheit 16 verbunden sind. Beispielsweise kann jede Kamera 10 mit einer Bildbearbeitungseinheit 16 verbunden sein, es können aber auch mehrere Kameras 10 auf nur eine Bildverarbeitungseinheit 16 bzw. umgekehrt zurückgreifen. Die Bildverarbeitungseinheiten 16 befinden sich untereinander im Datenaustausch. Dieser kann beispielsweise über ein entsprechendes kabelgebundenes Netzwerk oder auch über jede andere geeignete Technologie gewährleistet sein (z. B. Funknetzwerk, WLAN). Die Bildverarbeitungseinheiten 16 sind wiederum mit einem Zentralrechner 18 verbunden, bzw. befinden sich mit diesem im Datenaustausch. Der Zentralrechner 18 kann räumlich getrennt von den Bildverarbeitungseinheiten 16 angeordnet sein. Beispielsweise können in einem Stadium die Bildverarbeitungseinheiten 16 in der Nähe des Stadiondaches installiert sein, während sich der Zentralrechner 18 in einem geeigneten Raum im Stadion oder sogar mehrere tausend Kilometer entfernt in einem Kontrollraum befindet. Auch können die Bildverarbeitungseinheiten 16 sehr weit voneinander entfernt angeordnet sein. Die Nutzung von funkbasierten Netzwerken ermöglicht eine räumlich unabhängige Anordnung. Es sollte nur sichergestellt sein dass die Verbindung für den Datenaustausch zwischen den Komponenten ausreichend schnell und sicher ist. Auch kann die Anzahl der verwendeten Kameras beliebig hoch sein und der Raum beliebig groß.

Zwischen den Kameras 10 und den Bildverarbeitungseinheiten 16 werden im Wesentlichen Videobilder und zwischen den Bildverarbeitungseinheiten 16 und dem Zentralrechner 18 im Wesentlichen nur die Daten aus den mathematischen Merkmalen der Videobilder und Steuerungsdaten ausgetauscht. Die Bildverarbeitungseinheiten 16 steuern die angeschlossenen Kameras 10, beispielsweise nehmen sie Einfluss auf Blende, Belichtungsdauer, Verstärkung, Farbabgleich usw. Weiterhin lesen die Bildverarbeitungseinheiten 16 die Videosignale der Kameras 10 ein und verarbeiten sie.

Als Kameras 10 können handelsübliche Videokameras eingesetzt werden, eine höhere Auflösung bzw. verbesserte Abtastung kann jedoch durch höherwertige Kameras 10 erreicht werden (verbesserte Abtastfrequenz, höhere Anzahl der Pixel usw.). Dies wiederum führt dazu, dass sich unmittelbar die zeitliche und räumliche Auflösung der Objekterkennung verbessert.

Auch die Art und Eigenschaften der Bildaufnahmesensoren kann beliebig der jeweiligen Anwendung angepasst werden. So ist beispielsweise eine spektrale Empfindlichkeit auch außerhalb des sichtbaren Bereiches möglich. Weitere erforderliche Eigenschaften, wie Wetterfestigkeit bei Außeneinsätzen können ebenfalls berücksichtigt werden können.

Der Zentralrechner 18 ist in einer ersten Ausführungsvariante mit den Bildverarbeitungseinheiten 16 verbunden bzw. befindet sich im Datenaustausch mit diesen. In einer zweiten Ausführungsvariante können der Zentralrechner 18 und die Bildverarbeitungseinheiten 16 auch in einem Bauteil zusammengefasst sein.

Der Zentralrechner 18 sendet beispielsweise Befehle an die Bildverarbeitungseinheiten 16 bzw. an die auf diesen installierten Softwareprogrammen. Der Zentralrechner 18 empfängt aber auch die Daten der Bildverarbeitungseinheiten 16.

In einer besonders vorteilhaften Ausführungsvariante ist der Zentralrechner 18 durch zwei Rechnereinheiten gebildet. Die erste Rechnereinheit dient der Berechnung der Objektpositionen, die andere Rechnereinheit der Kontrolle der Ergebnisse, dem Betrieb der Benutzerschnittstelle und der Kalibrierung. Optional können an diesen über einen angeschlossenen Monitor auch die aufgenommenen Videobilder der Kameras 10 angezeigt werden. Zur besonders übersichtlichen Kontrolle des Ergebnisses lassen sich hier die berechneten Objektpositionen und deren Identifizierung im jeweiligen Videobild ein- bzw. überblenden. Alle Berech- nungen und Darstellungen erfolgen in Echtzeit.

Der Zentralrechner 18 berechnet die Objektposition und identifiziert die Objekte und weist ihnen eine Kennung zu. Diese Daten werden dann für die weitere Verarbeitung (Berechnung von Laufwegen, Beschleunigungen, Ballkontakte usw.) in Echtzeit beispielsweise an eine Datenbank 20 weitergegeben. Von der Datenbank 20 aus wird mit jeweiligen Anwendungen 24 (Mobilfunknetz, interaktives Fernsehen, Internet usw.) kommuniziert und entsprechende Schnittstellen werden zur Verfügung gestellt.

Auch könnten mindestens zwei Kameras 10 mit einer zusätzlichen Steuerung für horizontale und vertikale Schwenks ausgestaltet werden, ggf. auch mit einem Zoomobjektiv. Diese Kameras 10 könnten besonders interessante Bereiche, beispielsweise den ballführenden Spieler, beobachten. Da der Bildausschnitt größer bzw. der beobachtete Raum kleiner ist, steigt die Qualität der Daten erheblich. Hierdurch kann insbesondere die dreidimensionale Rekonstruktion der Spieler (körperliche Darstellung aller Glieder etc.) verbessert werden.

Am Zentralrechner 18 kann ein Eingabemedium 22 angeschlossen sein, um über dieses notwendige Informationen, wie beispielsweise Spielernamen usw. eingeben zu können. Um die Eingabe zu erleichtern, können weiterhin in dem Monitor beispielsweise nicht identifizierte Objekte optisch hervorgehoben werden.

Ein wesentlicher Vorteil der Erfindung besteht auch darin, dass aus der Datenbank 20 nur verhältnismäßig geringe Datenmengen an die weiteren Anwendungen 24 weitergegeben werden müssen, um ausreichende Analysen zu ermöglichen. Beispielsweise können auf einem Handy oder einem PDA Spielsituationen in Form von Grafiken dargestellt werden. Die dreidimensionale Identifizierung aller Objekte, einschließlich der Körpergliedmaßen ermöglichen sogar eine Darstellung mit Hilfe von Figuren bzw. einfachen Körpermodellen.

Claims

Bezeichnung: Echtzeit-BewegungsanalysevorrichtungPatentansprüche

1. Echtzeit-Bewegungsanalysevorrichtung für sich bewegende Objekte (14) in einem Raum mit - einem Zentralrechner (18), - mindestens einer Bildverarbeitungseinheit (16), - einer Vielzahl von Kameras (10), die den Raum derart überblicken, dass jede Position im Raum stets von mindestens zwei Kameras (10) überblickt wird, wobei - sich jede Bildverarbeitungseinheit (16) mit mindestens einer Kamera (10) und alle Kameras (10) jeweils mit mindestens einer Bildverarbeitungseinheit (16) im Datenaustausch befinden, - sich jede Bildverarbeitungseinheit (16) zumindest mittelbar mit dem Zentralrechner (18) im Datenaustausch befindet, - die Kameras (10) jeweils Videobilder des Raumes produzieren, die an die Bildverarbeitungseinheit (16) übermittelt werden, wobei jedes Objekt (14) von mindestens zwei Kameras (10) aus unterschiedlichen Blickwinkeln aufgenommen wird, - die Bildverarbeitungseinheit (16), aus den Videobildern mathematische Merkmale, beispielsweise die Schwerpunktkoordinaten in X-Y Richtung und die Ausdehnung der Objekte (14), berechnet sowie die Daten der Objekte (14) aus den Daten ihrer Umgebung extrahiert und die Ergebnisse an den Zentralrechner (18) weiterleitet, - der Zentralrechner aus von den Bildbearbeitungseinheiten (16) übermittelten Daten sich kreuzender Videobilder unter Berücksichtigung der kalibrierten Lagen der Kameras (10) im Raum die dreidimensionale Position des Objektes (14) im Raum errechnet.

2. Echtzeit-Bewegungsanalysevorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Zentralrechner (18) die Objekte (14) identifiziert und ihnen eine Kennung zuweist.

3. Echtzeit-Bewegungsanalysevorrichtung nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass den Objekten (14) über den Zentralrechner (18) manuell jederzeit eine Kennung zuweisbar ist, die den Objekten a b dann zeitlich rückwirkend und zukünftig zugewiesen wird.

4. Echtzeit-Bewegungsanalysevorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Zentralrechner (18) mit einer Datenbank (20) in Verbindung steht und Daten an diese weitergibt und in dieser speichert.

5. Echtzeit-Bewegungsanalysevorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zwischen den Kameras (10) und den Bildverarbeitungseinheiten (16) vorwiegend Videobilder und zwischen den Bildverarbeitungseinheiten (16) und dem Zentralrechner (18) vorwiegend nur die Daten aus den mathematischen Merkmalen der Videobilder übertragen werden.

6. Echtzeit-Bewegungsanalysevorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Bildverarbeitungseinheiten (16) die Kameras (10) steuern, insbesondere deren Blende, Belichtungsdauer und Verstärkung.

7. Echtzeit-Bewegungsanalysevorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Zentralrechner (18) die dreidimensionale Position der Objekte (14) mit Hilfe eines Triangulationsverfahrens berechnet.

8. Echtzeit-Bewegungsanalysevorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Zentralrechner (18) durch zwei Rechnereinheiten realisiert ist, wobei die erste Rechnereinheit zur Berechnung der Objektpositionen und die andere Rechnereinheit zur Kontrolle von Ergebnissen, einem Betrieb einer Benutzerschnittstelle und einer Kalibrierung dient.

9. Echtzeit-Bewegungsanalysevorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Zentralrechner (18) mit einem Eingabemedium (22) und einer bildgebenden Vorrichtung verbunden ist.

10. Verfahren zur Echtzeit-Bewegungsanalysevorrichtung von sich bewegenden Objekten in einem Raum, gekennzeichnet durch die Verfahrensschritte 1. Aufzeichnen aller Bewegungen aller Objekte in einem Raum mit Hilfe von Kameras (10) derart, dass jede Position im Raum gleichzeitig von mindestens zwei Kameras (10) aus unterschiedlichen Blickwinkeln aufgenommen wird, 2. Weitergabe der von den Kameras aufgenommenen Videobilder an mindestens eine Bildverarbeitungseinheit (16), wobei die Bildverarbeitungseinheit (16) die Kameras (10) steuert, die Videosignale der Kameras (10) einliest und aus diesen mathematische Merkmale berechnet, beispielsweise die Schwerpunktkoordinaten in X-Y Richtung und die Ausdehnung der Objekte (14), sowie die Daten der Objekte (14) aus den Daten ihrer Umgebung extrahiert. 3. Weitergabe von aus den Videobildern berechneten Daten an einen Zentralrechner (18), der die dreidimensionalen Objektpositionen berechnet.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Zentralrechner (18) die Objektpositionen aus von der Bildverarbeitungseinheit (16) übermittelten Daten sich kreuzender Videobilder unter Berücksichtigung kalibrierter Lagen der Kameras (10) im Raum errechnet.

12. Verfahren nach Anspruch 10 oder Anspruch lldadurch gekennzeichnet, dass der Zentralrechner (18) die Objekte (14) identifiziert und ihnen eine Kennung zuweist.

13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass den Objekten (14) über den Zentralrechner (18) manuell jederzeit ei- ne Kennung zuweisbar ist, die den Objekten ab dann zeitlich rückwirkend und zukünftig zugewiesen wird.

14. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die vom Zentralrechner (18) berechneten Daten in einer Datenbank (20) gespeichert und weiteren Anwendungen (24) zur Verfügung gestellt werden.