WO2002095995A2

WO2002095995A2 - Verfahren und anordnung zum steuern von audiovisuellen medialen inhalten

Info

Publication number: WO2002095995A2
Application number: PCT/DE2002/001776
Authority: WO
Inventors: Nils Peters; Christian Graupner
Original assignee: Humatic Gmbh
Priority date: 2001-05-21
Filing date: 2002-05-14
Publication date: 2002-11-28
Also published as: AU2002317665A1; DE10125309C1; WO2002095995A3

Abstract

Die Erfindung betrifft ein Verfahren und eine Anordnung zum Steuern der Wiedergabe von medialen Inhalten, insbesondere Video-, Ton-, Musik- und/oder Sprachsignale, in von mindestens einem Rechner mit peripheren Geräten und Anzeige-, Wiedergabe und Toneinrichtungen unterstützen Informations-, oder Unterhaltungssystemen, bei dem die körperliche Gegenwart mindestens eines Benutzers durch mindestens eine interaktive Eingabe ermittelt und das kinematische Verhalten des Benutzers, insbesondere seine Verweilzeit, Geschwindigkeit und/oder Beschleunigung, festgestellt wird, wobei mit diesem Verhalten mindestens eine optische Anzeige und/oder Beschallung des Systems ausgelöst oder beendet wird. Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung der eingangs genannten Art anzugeben, mit dem es gelingt, unterschiedliche Teile eines zeitlinear ablaufenden medialen Inhaltes, beispielsweise eines Tonfilmes, zeitunabhängig zu verketten und entsprechend dem Nutzerinteresse in Echtzeit wiederzugeben. Gelöst wird diese Aufgabe dadurch, dass mindestens eine digitalisierbare Audio- und/oder Bildinformation als Datencontainer und in seiner Darstellung zugleich als Benutzerinterface verwendet wird, und dass die Information in virtuelle Segmente zerlegt und die Segmente in Szenen und Unterszenen gegliedert werden, und dass von mit den Segmenten verknüpften, im Hintergrund gespeicherten Metainformationen die Informationen dieser Szenen unabhängig von ihren ursprünglichen Zusammenhängen, Richtungen und Geschwindigkeiten als Funktion einer Änderung im ermittelten Verhalten des Benutzers reeditiert, neu verkettet und in Realzeit wiedergegeben werden.

Description

Verfahren und Anordnung zum Steuern von audiovisuellen medialen Inhalten

Die Erfindung betrifft ein Verfahren zum- Steuern von audiovisuellen Inhalten, insbesondere Video-, Ton-, Musik- und/oder Sprachsignale, in von mindestens einem Rechner mit peripheren Geräten und Anzeige-, Wiedergabe- und

Toneinrichtungen unterstützen Informations- und/oder

Unterhaltungssystemen, bei dem die körperliche Gegenwart mindestens eines Benutzers durch mindestens eine interaktive

Eingabe ermittelt und das kinematische Verhalten des

Benutzers, insbesondere seine Verweilzeit, Geschwindigkeit und/oder Beschleunigung, festgestellt wird, wobei mit diesem

Verhalten mindestens eine optische Anzeige und/oder Beschallung des Systems ausgelöst, gesteuert und beendet wird.

Die Erfindung betrifft ferner eine Anordnung zum Steuern der Wiedergabe von audiovisuellen Inhalten, insbesondere Video-, Ton-, Musik- und/oder Sprachsignale, mit mindestens einem Eingabemittel zum Erfassen der Anwesenheit und Feststellen des Verhaltens mindestens eines Benutzers, einem Rechner zum Verarbeiten der detektierten Signale, und Anzeige-, Wiedergabe- und Toneinrichtungen.

Aus der DE 196 53 682 AI bzw. DE 196 54 944 AI ist eine Steuerung für ein System, insbesondere für einen Computer oder einen Raum mit Sensormitteln zur Erfassung einer Position mindestens eines Auslösers, insbesondere eines

Cursors auf der Anzeige des Computers oder einer Person im

Raum, in einem 1-, 2- oder 3-dimensionalen Bereich

(Sensorbereich) des Systems bekannt. Durch den Auslöser ist mindestens eine Funktion des Systems, insbesondere eine optische Anzeige und/oder Beschallung, aktivierbar. Es sind Mittel zur Erfassung der Verweilzeit des mindestens einen Auslösers im Sensorbereich vorhanden, wobei die Verweilzeit- Information zur Beeinflussung des Systems verwendbar ist.

Des weiteren ist in der DE 195 38 436 AI eine Vorrichtung zum Einsatz während Tanzveranstaltungen offenbart, bei welcher durch Bildauswertung die Position und/oder die Bewegung der Tanzenden bestimmt wird. Mit den ermittelten Daten werden visuelle und/oder akustische Ereignisse gesteuert.

Die US 5 012 334 A beschreibt eine Video-Bild-Bank zur Speicherung einer Vielzahl von bewegten Videobildsequenzen und zum automatischen Zugang zu einem oder mehreren der gespeicherten Bildsequenzen. Es sind Videospeichermittel, die eine Bibliothek der bewegten Videobildsequenzen enthalten, Bibliothekindexmittel, die einen Index der Videospeichermittel umfassen, Zugangsmittel zum Bibliotheksindexmittel für eine automatische Identifizierung eines Anfangsatzes der Bildsequenzen, Anzeigemittel zur Anzeige eines bewegungslosen Einzelbildes für jede bewegte Videobildsequenz des ersten Bildsatzes, Mittel zur Selektion einer der Videosequenzen aus dem ersten Bildsatz vorhanden.

In der US 5 220 648 A wird ein Hochgeschwindigkeitsrecherchesystem für ein Bilddatenspeichersystem vorgeschlagen, das im wesentlichen ein Speichermittel für die sequentielle Speicherung einer Vielzahl von Bildern, erste Steuerungsmittel, Selektionsmittel, Recherchemittel, Anzeigemittel und zweite Steuerungsmittel umfasst. Jedes der Bilder wird durch Rechercheinformationsdaten und einer Bildzahl identifiziert.

Des weiteren ist aus der US 4 538 188 A ein Verfahren und ein Gerät zum Auslesen von Segmenten aus einem Bildquellenmaterial, das auf zumindest einem Speichermedium gespeichert ist.

Alle diese bekannten Lösungen greifen auf herkömmliche gesonderte Datenbanken, in denen beispielsweise Programme zur Steuerung von Heizungen, Licht- oder Beschallungsanlagen, Spielen, Multmedia-Anwendungen oder Bild- und Recherchesystemdaten fest abgespeichert sind, zurück. Nachdem durch die Eingabe, sei es durch die direkte Befehlseingabe über eine Maus oder durch eine berührungslose Aktivität eines Nutzers, beispielsweise der Ablauf eines ausgewählten Werbefilmes gestartet wurde, kann der Benutzer die Wiedergabe innerhalb der Filmpräsentation nicht mehr beeinflussen und hat nur die Möglichkeit, die Filmwiedergabe zu stoppen, wenn diese ihn nicht mehr interessiert. Dies unterbleibt in aller Regel, weil der Betrachter den Bedienbereich wegen Desinteressiertheit längst wieder verlassen hat. Das ausgewählte Programmteil läuft weiter und stellt für den nächsten Betrachter oft eine, zumindest pchychologische, Hürde dar, weil dieser die zuvor ausgewählte Programmebene zurückfahren muss, um einen für ihn vermeintlich interessanten neuen Programmteil auswählen zu können. Die

Betrachter verlieren deshalb von vornherein leicht das Interesse an der Bedienung eines derartigen Informationssystems und lassen es deshalb unbeachtet.

Aus der EP 0 871 177 A2 ist ein räumliches, nichtzeitliches und nichtlineares Multimediaverfahren bekannt, bei dem in einem Speicher abgelegte Multimediamaterialien als Objekte dargestellt, ein oder mehrere Objekt (e) aus dem Speicher zur Anzeige auf einer Konsole ausgesucht, dynamisch betrachtet wird bzw. werden und bei dem zumindest eines dieser Objekte auf der Konsole editiert wird, um ein editiertes Objekt zu erzeugen und anschließend die editierten Objekte auf einer Bearbeitungsfläche der Konsole platziert werden, um einen Handlungsablauf zu kreieren, der auf der Konsole sichtbar wird. Des weiteren wird in der US 5 434 678 A ein Videosystem beschrieben, in welchem ein Direktzugriff auf Videotechnologien und Videoarchitekturen für die automatisierte selektive Suche von nicht-sequentiell parallel gespeicherten Übergängen und Überlappungen von Videosegmenten aus einer einfachen variablen Programmquelle integriert ist.

Die bisherigen bekannten Informations- und Unterhaltungssysteme sind daher nur bedingt für die Steuerung der Wiedergabe von audiovisuellen Inhalten wie Werbe-, Informations- und Schulungsfilme geeignet, da die Filme zeitlinear ablaufen und die zu übertragenden Datenmenge sehr groß werden, um zu den Stellen des Filmes mit interessierenden Inhalten zu gelangen. Eine Berücksichtigung der Benutzerreaktion auf den Inhalt erfolgt nicht.

Bei diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Anordnung der eingangs genannten Art anzugeben, mit dem es gelingt, unterschiedliche

Teile eines zeitlinear ablaufenden medialen Inhaltes, beispielsweise eines Tonfilmes, zeitunabhängig zu verketten und entsprechend dem Nutzerinteresse in Echtzeit wiederzugeben .

Diese Aufgabe wird durch ein Verfahren der eingangs genannten Gattung mit den kennzeichnenden Merkmalen des Anspruches 1 und durch eine Anordnung mit den kennzeichnenden Merkmalen des Anspruches 19 gelöst.

Vorteilhafte Ausgestaltungen des Verfahrens sind den Unteransprüchen entnehmbar.

Das erfindungsgemäße Verfahren zeichnet sich vor allem dadurch aus, dass es möglich wird, die Wiedergabe von zeitlinear ablaufenden audiovisuellen Inhalten losgelöst von ihrer Zeitachse durch die Aktivität zumindest eines Benutzers interaktiv zu steuern. Der audiovisuelle Inhalt, beispielsweise der eines Tonfilmes, wird durch das erfindungsgemäße Verfahren so konfektioniert und vorbereitet, dass er sich gelöst von seiner Zeitachse bewegen kann. Dazu wird der digitale Tonfilm in einzelne Segmente aus mindestens einem Videoframe zerlegt, mit Metainformationen kodiert und die einzelnen Segmente so lose miteinander verkettet, dass aus der Kombination von in den Metainformationen vorgezeichneten Pfaden und empfangenen Benutzereingaben eine sinnvolle zu weiteren Eingaben stimulierende Präsentation generiert wird. Durch die Kodierung der einzelnen Segmente ist der Benutzer nicht mehr gezwungen, einzelne unterschiedliche Bildfolgen anzuwählen, sondern das erfindungsgemäße Verfahren interpretiert das Verhalten des Nutzers und präsentiert dem einzelnen Benutzer wie auch einer Gruppe von Benutzern eine dem Verhalten adäquate Szene oder Szenenfolge.

Das erfindungsgemäße Verfahren hat den Vorteil, dass es die Präsentation einer Vielzahl von Medienformaten wie Schrift-, Bild-, Ton-, Videoformate, VR-Panoramen, Animationen und Fernsehsendungen unterstützt. Mit der Ermittlung des statistisch oder empirisch Zuschauerverhaltens eröffnet es die Möglichkeit, TV- Sendungsformate zu erschaffen, die sich automatisch reeditieren, d.h. eine laufende Fernsehsendung beliebiger Länge erneuert sich ständig selbst, indem bewährte Segmente bewusst plaziert und weniger beliebte durch andere ersetzt werden. Das erfindungsgemäße Verfahren hat den besonderen Vorteil, auf Zuschauergewohnheiten direkt zu reagieren und eine Sendung bzw. Wiedergabe zu qualifizieren. Darüber hinaus ermöglicht die automatisch reeditierende Präsentation von Medieninhalten durch das erfindungsgemäße Verfahren Musiktitel mittels interaktiver Video-Clips und Bannerwerbung durch beeinflussbare Videosequenzen zu ersetzen. Die Video-Clips oder Videosequenzen müssen nicht mehr in identischer Form wiedergegeben werden, sondern können je nach der Reaktion des Nutzers entsprechend zusammengestellt werden.

Nachfolgend werden einige Anwendungsmöglichkeiten des erfindungsgemäßen Verfahrens beispielhaft genannt, deren Reihenfolge keine Rangfolge darstellt: -Anwendung in einem Museum als Informationssystem für verschiedenste Wissensgebiete;

-Unterhaltung und Information in öffentlichen Räumen, beispielsweise Flughafenterminals, Foyers usw.; -Navigationssysteme in öffentlichen Verkehrsmitteln; -Verwendung als audiovisuelles Musikinstrument; -Einsatz in Präsentation und Werbung, beispielsweise

Schautafeln, Spots, Clips, Bannerwerbung im Internet usw., für Verkaufsräume, Messen, öffentliche Veranstaltungen; -Multimedia-Applikationen, beispielsweise interaktive audiovisuelle Shows, -Anwendungen für Theater- und Opernbühnen; -Sicherheitssysteme .

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen.

Die Erfindung soll nachstehend an einem Ausführungsbeispiel näher erläutert werden.

Es zeigen:

Fig. 1 ein Schema des erfindungsgemäßen Verfahrens, Fig. 2 ein Schema der erfindungsgemäßen Anordnung mit Darstellung der Signalverarbeitung und

Fig. 3 die nach dem erfindungsgemäßen Verfahren ablaufenden Arbeitsschritte.

Die Figuren 1 und 2 verdeutlichen den Ablauf des erfindungsgemäßen Verfahrens und eine Variante einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens mit schematischer Darstellung des Signalflusses. Die Anordnung besteht im wesentlichen aus einem handelsüblichen schnellen Rechner 1 mit einem Festplattenspeicher, einem dem Rechner 1 zugeordneten optionalen Netzwerk 2, einem Audio/Video-Wiedergabeeinrichtung 7, einem Display 8 und einer Tonanlage 9. Nahe oder am Display 8 sind berührungslos arbeitende Sensoren 10 positioniert. Optional gehören zu der erfindungsgemäßen Anordnung weitere Sensoren 11, zumindest eine Kamera 12 und übliche Eingabemittel 13 wie Mouse, Touchscreen oder Tastaturen.

Das Verfahren arbeitet in diesem Beispiel mit einem digitalisierten zeitlinear ablaufenden Tonfilm, der auf dem Festplattenspeicher des Rechners 1 für einen schnellen Datenzugriff gespeichert ist. Natürlich ist es auch möglich, den digitalen Tonfilm über das externe Netzwerk 2 zuzuführen. Der digitalisierte Tonfilm enthält neben Bilddaten 4 und Tondaten 5 auch Informationen 3 zum Abspielverhalten, die für die zeitlineare Wiedergabe notwendig sind. Um den digitalisierten Tonfilm für das erfindungsgemäße Verfahren verwenden zu können, wird der Tonfilm in virtuelle Segmente 6 zerlegt, d.h. das im herkömmlichen Sinne fertige Filmprodukt erfährt eine Reeditierung. Die Segmentierung nach dem erfindungsgemäßen Verfahren wird im folgenden anhand der Fig. 1 erklärt. Der ursprüngliche Film liegt als digitalisierte Tonfilmdatei vor, dessen Anfangpunkt a im Zeitlauf bis zum Endpunkt g dargestellt ist. Das virtuelle Segment 6 ist bestimmt durch eine variable Anzahl von digitalisiert vorliegenden Bild- und Tonframes des zeitlinearen Tonfilms, die über Indexinformationen als zusammengehörig markiert sind. Ein Segment umfasst wenigstens einen Videoframe und ist in seiner Länge, also der Gesamtzahl der zu einem Segment gehörenden Frames, nicht limitiert. Definiert ist das Segment durch seinen ersten und letzen Frame. Das Segment kann speicherungsseitig Teil einer übergeordneten Datei, beispielsweise der Filmdatei, sein und muss keine eigene Datei darstellen. Mit Metainformationen 3 wird das Segment gekennzeichnet, d.h. durch individuelle, den digitalen Inhalt darstellende Bytestrukturen innerhalb des digitalen Videoframe kodiert.

Hierarchisch über den Segmenten angeordnet ist die Szene, welche eine Zusammenfassung von Segmenten darstellt. Wenigstens ein Segment wird benötigt, um eine Szene zu definieren, deren Länge, also die Anzahl der Segmente, wiederum nicht begrenzt zu sein braucht.

Die Szene definiert das initiale Abspielverhalten der Segmente und den Modus der Benutzerinteraktion. Besteht beispielsweise eine Szene aus mehr als einem Segment, so stehen die Übergänge zwischen den Segmenten als Fixpunkte zur Verfügung. Bei einer optischen Darstellung der Medieninhalte müssen diese Übergänge nicht sichtbar sein.

Die entsprechenden Metainformationen der Szene wie initiales Abspielvorgaben, Definition benutzerbeinflußbarer Parameter, Anschlussszenen, zugehörige Ton-Samples usw. sind in den Mediendaten verschlüsselt enthalten. Das erfindungsgemäße Verfahren liest diese beim Sprung in eine Szene aus und konditioniert seine Eingabe- und Abspielmodule anhand dieser Informationen neu. Ist diese Konditionierung erfolgt, so ist das erfindungsgemäße Verfahren bereit, Parameter durch Benutzereingaben in Realzeit manipulieren zu lassen. Sowohl die Art der Eingabe, beispielsweise in Form eines berührungslos arbeitenden Sensors 10 oder einer direkten Eingabe mit Hilfe einer Tastatur, als auch die manipulierbaren Parameter wie z.B. Abspielgeschwindigkeit, unmittelbare Filmposition, Spielrichtung, Lautstärke, szenenspezifische Parameter sind damit für jede Szene gesondert definierbar.

Die Segmentgrenzen dienen als mögliche Anschlusspunkte für Folgeszenen, definierbare Bereiche um die Segmentgrenzen können bestimmte Entscheidungsphasen freigeben. Die Auswahl wird szenenindividuell definitionsabhängig getroffen. Eine Sonderform des Segments stellt der Breakpoint (s. Fig. 1) dar, der ein solches ohne medialen Inhalt definiert und abhängig von der Benutzereingabe, auf Zufallsbasis oder durch andere Faktoren wie Z.B. die Tageszeit bestimmt, eine Multiplikation der Anschlussszenen ermöglicht. Die Segmentierung erfolgt in mehreren Schritten. Zunächst wird der Film in Szenen unterteilt und diese wiederum in Unterszenen bzw. Segmente. Die so definierten Segmente werden über Indizes adressiert, so dass ihre Anfangs- und Endpunkte als Parameter zur Verfügung stehen. Der Film ist daher entsprechend seiner kleinstmöglichen Einteilung in Segmente zerlegbar. Die einzelnen Bilder- und Tonsegmente stehen somit im Bedarfsfall durch die fortlaufende Adressierung für einen sofortigen Zugriff unabhängig von ihrer Reihenfolge zur Verfügung. Der Film liegt nach der Segmentierung und Adressierung als nummerierte Bild/Tonsequenz wie auch als Datencontainer 21 vor, bei dem neben der Kombination von einzelnen Segmenten auch die Abspielrichtung und -geschwindigkeit frei einstellbar sind. Zum Abspielen der Szenen oder Unterszenen (Bilder und Töne) kommt die rechnerbasierte Video/Audio-Wiedergabeeinrichtung 7 zur Anwendung, welche eine Zusammenhangs-, richtungs- und geschwindigkeitsunabhängige Wiedergabe der Szenen oder

Unterszenen mit einer Bildrate von bis 50 Bildern pro Sekunde erlaubt.

Zur Anzeige der Videobilder kommen herkömmliche Monitore, Displays oder Videoprojektoren 8 zum Einsatz. Die Töne werden mit der aus Audioverstärker und Lautsprecher bestehenden

Tonanlage 9 für den Benutzer hörbar gemacht.

Am oder nahe vom Display 8 ist wenigstens ein Sensor 10 positioniert, der die Gegenwart zumindest eines Benutzers feststellt und dessen Aktivität im detektierten Bereich erfasst .

Je nach Sensortyp und Messverfahren beträgt die Reichweite etwa 1,5 bis 100 m bei bis zu einem Öffnungswinkel von 180°.

Eingesetzt werden optische und/oder akustische Sensoren, vorzugsweise Infrarot-, Ultraschall- oder Lasersensoren,

Mikrofone, Kameras, Laserscanner, Mikrowellensysteme oder

Radarsysteme.

Jeder Sensor kann natürlich auch als einfacher

Entfernungsmesser ausgeführt sein. Die Entfernungsmessungen werden in einem zeitlichen Abstand von 1 bis 200

Millisekunden durchgeführt. Unterschiedliche Sensorarten zu kombinieren ist ebenso möglich.

Ein Regelwerk 14 ist in Form von Codes 15 auf dem Datenspeichermedium des Rechners 1 gespeichert und führt die durch den Code 15 bestimmten Arbeitsschritte des erfindungsgemäßen Verfahrens aus. Das Regelwerk 14 bildet das Bindeglied zwischen dem vom Benutzer erzeugten Datenströmen und dem entsprechend aufbereiteten digitalen Tonfilm. Es stellt eine erweiterbare Sammlung spezifischer Videoplayback- und Nutzerdatenverarbeitungsfunktionen zur Verfügung, die sich mittels steuerbarer Größen (Variablen) zu unterschiedlichen Programmabläufen bzw. -Variationen verknüpfen lassen.

Dabei bilden die in den Segmenten gespeicherten Segmentierungsdaten, Navigationspfadmarkierungen und Adressen die Rahmenparameter für das Abspielverhalten, anhand derer das Regelwerk 14 eine Konstellation ständig an den gegenwärtig Zustand anpasst und die sich daraus ergebenden Folgeschritte vorbereitet.

Im Datenspeicher des Rechners 1 sind entsprechende Verhaltensmuster von Durchschnittsnutzern abgelegt, die zur Bestimmung von Abweichungen im ermittelten Verhaltensmuster der Benutzer durch einen Abgleich zwischen dem abgespeicherten charakteristischen Referenzverhalten und dem festgestellten Verhaltensmuster dienen. Erkennt das Regelwerk 14, dass im Verhalten der Benutzer neue kennzeichnende Eigenschaften im Verhalten hinzutreten, wird das charakteristische Referenzverhalten um diese Eigenschaften erweitert und die Änderung in den Datenspeicher aufgenommen. Das Regelwerk 14 interpretiert das festgestellte Verhaltensmuster der Benutzer durch einen Abgleich mit dem charakteristischen Referenzverhalten, sobald ein die Verhaltenseigenschaften übersteigender Schwellwert ermittelt wird.

Zum detektierbaren Verhaltensmuster gehören die Position, die Geschwindigkeit der Bewegung, die Bewegungsrichtung, die Bewegungsintensität, der Bewegungspfad, das Bewegungsmuster, die Wiederholung von Bewegungen ebenso wie die Gestik und Mimik eines Benutzers oder mehrerer Benutzer. Die Auswahl des jeweiligen Folgeschrittes erfolgt dann durch eine Auswahl von virtuellen Segmente bzw. Szenen oder Unterszenen gemäß der zuvor beschriebenen Interpretation nach und dem jeweilig herrschenden Zustand einer laufenden Präsentation von Segmenten.

Mit der Darstellung und Wahrnehmung der Anzeige der Segmente bzw. der Ton- und Videoframes schließt sich der Regelkreis und der Benutzer wird wieder dazu veranlasst, in Aktion zu treten, um eine neue Systemreaktion zu generieren.

Das Regelwerk 14 führt - wie in Fig. 3 schematisch gezeigt- nachfolgende einzelne Arbeitsschritte aus.

Sobald die Sensoren 10 und 11 in ihrem Detektionsbereich einen Benutzer erfassen, beginnt eine berührungslos ablaufende Objekterkennung mit Abstandsmessungen und anderen das Bennutzerverhalten kennzeichnende Messungen. Rückgekoppelte Regelschleifen passen den für die Applikation relevanten Sensorbereich laufend an den Bewegungsradius des Benutzers an. Dabei wird über einen einstellbaren Zeitraum die Bewegungsauslenkung des Benutzers ermittelt. In Abhängigkeit des Ergebnisses dieser Ermittlung, passt das Regelwerk 14 die zum Auslösen bestimmter Folgeschritte notwendigen Schwellwerte dem Besucherverhalten an. Dies ermöglicht beispielsweise, dass einem ruhigem Besucher mit leichten natürlichen Kopf-, Hand- oder Körperbewegungen dasselbe mediale Ereignis angezeigt wird wie eine Gruppe sich stark bewegender Kinder.

Durch diese dynamische Anpassung der Sensorsensibilität an das Benutzerverhalten ist es ebenso möglich, Besucher aus kritischen Sensorgrenzbereichen herauszuführen, indem in

Richtung des unkritischen Bereichs ein attraktiveres inhaltliches Angebot platziert wird.

Das Regelwerk 14 liest die eingabeseitig vorhandenen Sensorsignale in Abhängigkeit der verwendeten Sensoren zwischen 5 und 1000 Hz aus. Diese unterstützende Sensor- Hardware vorausgesetzt, kann die Auslesefrequenz der Sensoren hardwareseitig aber auch softwareseitig dynamisch verändert werden.

Mit einem Eingangsfilter 16 filtert das Regelwerk 14 bestimmte Signale bzw. Daten aus, die für den Ablauf des erfindungsgemäßen Verfahrens irrelevant oder störend sind. Dazu gehören technik- oder umgebungsbedingtes Rauschen, Flattern oder Zittern von Benutzerdaten, starke kurzzeitige Impulssprünge und Impulse oberhalb, unterhalb und/oder zwischen bestimmten Schwellwerten. Durch den Vergleich von kurz nacheinander gemessener Werte werden zusätzlich zur Abstandsbestimmung Informationen zur Bewegungsrichtung, Geschwindigkeit, Beschleunigung und Verweildauer des Besuchers gewonnen. Die Sensorauswertedaten werden über einen gewissen Zeitraum aufgezeichnet und mit bzw. nach dem Referenzverhaltensmuster untersucht. Das Erkennen eines solchen Musters, löst beispielsweise einen Bedienschritt in der Segmentdarstellung aus . Zusätzlich werden die aufgezeichneten Sensorauswertedaten mit den Daten aus einem anderen Messzeitraum oder den gerade eintreffenden Daten verglichen. Das ermittelte Vergleichsergebnis kann, sofern es einem Referenzverhalten entspricht, wiederum einen Bedienschritt in der Segmentdarstellung auslösen.

Die erfassten Steuerdaten werden vom Regelwerk 14 anhand einstellbarer Schwellwerte als eindeutige Steuerbefehle eingeordnet und in Abhängigkeit der Anwendungsanforderungen beliebig viele Schritte wie z.B. „Stillstand-kurz" , „Stillstand-mittel" , „Stillstand-lang", „leichte Bewegung vorwärts" , „leichte Bewegung rückwärts" , „leichte Bewegung links" , „leichte Bewegung rechts" , „starke Bewegung vorwärts", „starke Bewegung rückwärts", „starke Bewegung links" oder „starke Bewegung rechts" eingeteilt. Natürlich ist es auch möglich, diese Schritte entsprechend zu kombinieren. Neben der zuvor erläuterten Schrittaufteilung der Steuerdaten wird der durch die Benutzerbewegung erzeugte Datenstrom alternativ oder parallel dazu verwendet, die Tonfilmdateien bzw. Segmente direkt zu steuern. Das Regelwerk 14 glättet und modifiziert die Datenströme, um eine ruckfreie Wiedergabe der Segmente zu erreichen. Die Modifikationen können sich beispielsweise auf die Richtungsumkehrung der Daten und/oder deren Mischung mit anderen generierten Daten beziehen. Diese anderen Daten können vorbereitete Steuersequenzen 17 oder Anreicherungsdaten 18 sein. Mit den vorbereiteten Steuersequenzen 17 ist sichergestellt, dass die Interaktion für den Benutzer abwechslungsreich, interessant und sinnvoll bleibt. So werden Wiederholungen innerhalb eines voreinstellbaren Zeitraumes ausgeschlossen oder Szenen durch Änderung der Abspielgeschwindigkeit, der Ein- und Ausstiegspunkte für die Szene, von Farbeffekten und Klängen unterschiedlich erscheinen, auch wenn dieselben Segmente zugrunde liegen.

Das Regelwerk 14 bestimmt, dass die mediale Präsentation der Segmente bzw. Szenen in Fluss bleibt und abrupte Übergänge zwischen den Segmenten unterbleiben. Dies wird dadurch erreicht, dass nur bestimmte Anschlusspunkte oder Anschlussbereiche der Segmente einen Szenenwechsel zulassen.

Wenn der Benutzer einen Wechsel anfordert und die Segmente sich in diesem Moment nicht in der Nähe eines Anschlusspunktes oder -bereiches befindet, sorgt das Regelwerk 14 dafür, dass der entsprechende Anschlusspunkt schnell aber trotzdem sanft angefahren wird, bevor zum passenden Segment umgeschaltet wird. Weiter können an den Umschaltstellen mediale Echtzeiteffekte wie Überblendungen oder vorbereitete Zwischenfilme eingeschoben werden, die einen sanften Übergang ermöglichen. Mittels der Kamera 12 Vorort aufgenommene oder live- eingespielte Videobilder oder Töne können durch das Regelwerk 14 in die Präsentationsabfolge der Segmente, Szenen bzw. Unterszenen integriert werden. Beispielsweise wird eine zusätzliche Steigerung des Unterhaltungseffektes erzielt, wenn das Abbild des jeweiligen Benutzers in die Präsentationsabfolge erscheint.

Zur Integration von Live-Aufnahmen werden in dem als Datencontainer beschriebenen Tonfilm bestimmte Segmente (Breakpoint) reserviert und vorab adressiert. Dies ermöglicht dem Regelwerk 14, den Echtzeitabruf und die programmgerechte Modulation der Live-Bilder und Töne in gleicher Weise wie der vorproduzierten Segmente.

Die über die Schwellwerte kategorisierten Steuerbefehle der Nutzersignale werden in einer Echtzeitmatrix 19 mit dem sich gerade abspielenden Segment gegenübergestellt. Aus dem Bezug beider Faktoren generiert sich der nächste Folgeschritt. Ein solches Vorgehen gewährleistet, dass immer die Benutzeraktivität und der jeweilige Zustand der medialen Präsentation für den jeweiligen Folgeschritt verantwortlich ist und niemals nur einer dieser beiden Faktoren alleine. Voreingestellte Kontrollmechanismen, die wie ein Optimierungsfilter 20 wirken, optimieren die Systemleistung dadurch, dass auch bei hoher Nutzeraktivität nur der benötigte Teil der erzeugten Daten zur Steuerung genutzt wird. Die Bildfrequenz ist auf die menschliche Wahrnehmung abgestimmt, d.h. das erfindungsgemäße Verfahren arbeitet mit einer Bildfrequenz von etwa 15 Bilder pro Sekunde, weil der Mensch eine Bildfrequenz von mehr als 15 Bilder pro Sekunde nicht mehr einzeln wahrnehmen kann. Provoziert ein Benutzer durch seine Aktivität eine hohe Abspielgeschwindigkeit, so verlangsamt das Regelwerk 14 die audiovisuelle Präsentation auf Sehgewohnheiten, die der Mensch ohne Überlastung wahrnehmen kann.

Die Umschaltung zwischen berührungsloser Sensorik und herkömmlicher Eingabewerkzeuge erfolgt aufgrund inhaltsabhängiger in den Metainformation enthaltender Informationen, dem jeweils ermittelten Benutzerverhalten sowie dem Zustand des Systems. Mit einer eingangsseitig temporären Abschaltung der Sensorik ist es ferner möglich, das System zu entlasten.

Aufstellung der verwendeten Bezugszeichen

Rechner 1 Optionales externes Netzwerk 2 Informationen zum Abspielverhalten,

Metadaten 3

Bilddaten 4

Tondaten 5 Segmente des Tonfilmes 6

Audio/Video-Wiedergabeeinrichtung 7

Display, Monitor, Projektor 8

Tonanlage 9

Sensoren 10 Optionale zusätzliche Sensoren 11

Optionale Kamera 12

Handelsübliche Eingabemittel 13

Regelwerk 14

Code 15 Eingabefilter 16

Vorbereitete Steuersequenzen 17

Anreicherungsdaten 18

Echtzeitmatrix 19

Optimierungsfilter 20 Containerfilm 21

Hierzu 3 Blatt Zeichnungen

Claims

Patentansprüche

1. Verfahren zum Steuern der Wiedergabe von medialen Inhalten, insbesondere Video-, Ton-, Musik- und/oder Sprachsignale, in von mindestens einem Rechner mit peripheren Geräten und Anzeige-, Wiedergabe und Toneinrichtungen unterstützen Informations-, oder Unterhaltungssystemen, bei dem die körperliche Gegenwart mindestens eines Benutzers durch mindestens eine interaktive Eingabe ermittelt und das kinematische Verhalten des Benutzers, insbesondere seine Verweilzeit, Geschwindigkeit und/oder Beschleunigung, festgestellt wird, wobei mit diesem Verhalten mindestens eine optische Anzeige und/oder Beschallung des Systems ausgelöst, gesteuert und beendet wird, d a d r c h g e k e n n z e i c h n e , dass mindestens eine digitalisierbare Audio- und/oder Bildinformation als Datencontainer und in seiner Darstellung zugleich als Benutzerinterface verwendet wird, und dass die Information in virtuelle Segmente zerlegt und die Segmente in Szenen und Unterszenen gegliedert werden, und dass von mit den Segmenten verknüpften, im Hintergrund gespeicherten Metainformationen die Informationen dieser Szenen unabhängig von ihren ursprünglichen Zusammenhängen, Richtungen und Geschwindigkeiten als Funktion einer Änderung im ermittelten Verhalten des Benutzers reeditiert, neu verkettet und in Realzeit wiedergegeben werden.

2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass das virtuelle Segment aus wenigstens einem Videoframe zusammengesetzt ist.

3. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass Tonfilme, Videofilme, VR- Panoramen oder Fernsehsendungen als digitalisierbare Informationen eingesetzt werden.

4. Verfahren nach Anspruch 1 bis 3, g e k e n n z e i c h n e t durch folgende zeitlich vor der Wiedergabe ablaufende Schritte: a) Erfassen der Änderung im Verhalten des mindestens einen Benutzers, vorzugsweise der Bewegungsrichtung, Bewegungsintensität, Bewegungspfad, Bewegungsmuster und Wiederholung von Bewegungen, durch die mindestens eine Eingabe mit zugeordnetem Speichermedium, in dem ein dem Verhaltensmuster eines Durchschnittsbenutzers entsprechend charakteristisches Referenzverhalten digital abgespeichert ist; b) Bestimmen der Abweichungen im ermittelten Verhaltensmuster des Benutzers durch einen Abgleich zwischen dem abgespeicherten charakteristischen Referenzverhalten und dem festgestellten Verhaltensmuster; c) Erweitern des charakteristischen Referenzverhaltens des Durchschnittsbenutzers um neue ermittelte Eigenschaften, sofern signifikante Abweichungen durch den Abgleich festgestellt werden; d) Interpretation der ermittelten Abweichungen des Schrittes b) durch ein im Speichermedium abgelegtes Regelwerk, sobald ein die Verhaltenseigenschaften übersteigender Schwellwert ermittelt wird; e) Auswahl der virtuellen Segmente bzw. Szenen oder Unterszenen gemäß Interpretation nach Schritt d) f) Auslösen eines Befehls zur Wiedergabe in einer dem jeweiligen Zustand einer laufenden Präsentation und dem ermittelten Verhalten des Benutzers abwägenden Entscheidungsmatrix.

5. Verfahren nach Anspruch 1 bis 4, d a d u r c h g e k e n n z e i c h n e t, dass als Metainf ormationen solche zum Abspielverhalten, zu Folgeschritten,

Bild/Tonverknüpfungen, Medien/Benutzerverknüpfungen und zur Identifizierung verwendet werden.

6. Verfahren nach Anspruch 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, dass die Metainf ormationen innerhalb eines Videoframe abgelegt werden.

7. Verfahren nach Anspruch 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, dass bestimmten Segmenten Anschlusspunkte oder Anschlussbereiche für einen

Szenenwechsel zugeordnet werden.

8. Verfahren nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t, dass an den Anschlusspunkten oder Anschlussbereichen zum abruptfreien Übergang von einer Szene zu einer anderen ein beschleunigtes Anfahren des Anschlusspunktes vorgenommen wird, Zwischenfilme oder mediale Echtzeiteffekte, vorzugsweise Überblendungen, eingeschoben werden.

9. Verfahren nach Anspruch 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, dass einzelne Segmente durch eine Vorabadressierung zur Wiedergabe von Fremdinhalten reserviert werden.

10. Verfahren nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t, dass als Fremdinhalte vor Ort aufgenommene oder live-eingespielte Videobilder oder Töne eingesetzt werden.

11. Verfahren nach Anspruch 1 bis 10, d a d u r c h g e k e n n z e i c h n e t, dass das Regelwerk ständig mit den angehängten Metainformationen der Segmente an das ermittelte Verhaltensmuster automatisch anpasst wird.

12. Verfahren nach Anspruch 4, d a d u r c h g e k e n n z e i c h n e t, dass mit dem Regelwerk folgende nacheinander ablaufende Arbeitsschritte durchgeführt werden: -Auslesen der durch die mindestens eine Eingabe erfassten

Signale mit einer der Art des jeweiligen Eingabe entsprechenden anpassbaren Abtastfrequenz, -Ausfiltern von störenden und/oder irrelevanten Signalen, -Aufzeichnen der relevanten Signale über einen gewissen

Zeitraum, -Vergleichen von kurz nacheinander erfassten Signalen zum

Bestimmen der Position, Bewegungsrichtung, Geschwindigkeit, Beschleunigung und Verweildauer des Benutzers im

Sensorbereich, -Vergleichen der aufgezeichneten Signale mit denen eines anderen Messzeitraumes oder mit dem Verhaltensmuster des

Durchschnittsbenutzers zum Auslösen der Wiedergabe von Segmenten,

-Umwandeln der Sensorsignale in Steuerbefehle zur

Qualifizierung und Kategorisierung zu Schaltbefehlen sowie zum gleichzeitigen direkten Ansteuern der Wiedergabe von

Segmenten.

13. Verfahren nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t, dass die Abtastfrequenz dynamisch in Abhängigkeit der Eingabedaten verändert wird.

14. Verfahren nach Anspruch 1 bis 13 d a d u r c h g e k e n n z e i c h n e t, dass die mindestens eine interaktive Eingabe berührungslos mittels Sensoren durchgeführt wird.

15. Verfahren nach Anspruch 14, d a d u r c h g e k e n n z e i c h n e t, dass als optische und/oder akustische Sensoren, vorzugsweise Infrarot-, Ultraschall- oder Lasersensoren, Mikrofone, Kameras, Laserscanner, Mikrowellensysteme oder Radarsysteme eingesetzt werden.

16. Verfahren nach Anspruch 1 bis 14, d a d u r c h g e k e n n z e i c h n e t, dass die mindestens eine interaktive Eingabe durch Aktivieren eines Touchscreens oder einer Maus durchgeführt wird.

17. Verfahren nach Anspruch 14 bis 16, d a d r c h g e k e n n z e i c h n e t, dass die berührungslose Eingabe mit der berührenden Eingabe kombiniert durchgeführt wird.

18. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass die in virtuelle Segmente zerlegte digitalisierte Information in seiner ursprünglichen Form erhalten bleibt und wiedergebbar ist.

19. Anordnung zur Durchführung des Verfahrens nach Anspruch 1 bis 18, mit mindestens einem Eingabemittel zum Erfassen der Anwesenheit und des Verhaltens mindestens eines Benutzers, einem mit dem Eingabemittel verbundenen Rechner mit peripheren Geräten zum Verarbeiten der Signale und derAusgangssignale und Anzeige-, Wiedergabe- und Toneinrichtungen, d a d u r c h g e k e n n z e i c h n e t, dass mindestens ein virtuelle Informationssegmente enthaltender Datencontainer (21) einer digitalen Audio- und/Bildinformation vorgesehen ist, der mit einer rechnerbasierten Audio/Videoeinrichtung (7) zur Zusammenhangs-, richtungs- und geschwindigkeitsunabhängigen Wiedergabe der Informationssegmente über ein Regelwerk (14) zur Steuerung der Wiedergabe in Abhängigkeit des Benutzerverhaltens verbunden ist.

20. Anordnung nach Anspruch 19, d a d u r c h g e k e n n z e i c h n e t, dass das Eingabemittel mindestens ein berührungslos detektierender Sensor (10) ist.

21. Anordnung nach Anspruch 19, d a d u r c h g e k e n n z e i c h n e , dass der Sensor (10) ein optischer und/oder akustischer Detektor, vorzugsweise Infrarot-, Ultraschall- oder Laserdetektor, Mikrofone, eine Kamera, ein Mikrowellensystem oder ein Radarsystem ist.

22. Anordnung nach Anspruch 19, d a d u r c h g e k e n n z e i c h n e t, dass der mindestens eine Sensor

(10) ein Laserscanner mit einem Öffnungswinkel von 180° und einer Reichweite von mindestens 1,0 m bis maximal 100 m ist.

23. Anordnung nach Anspruch 19, d a d u r c h g e k e n n z e i c h n e t, dass der mindestens eine Sensor (13) ein Touchscreen oder eine Maus ist.