Titel: Verfahren zur Datenreduktion
Beschreibung
Die vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte und befaßt sich somit mit der Reduktion von Daten bei Bilddatensequenzen-
Wenn Bilder übertragen werden sollen, treten Probleme u. a. im Hinblick auf die zur Verfügung stehenden Datenraten der Übertragungskanäle bzw. den Umfang des zur Verfügung stehenden Speichervolumens auf, denn Bilddaten sind typisch sehr umfangreich, insbesondere dann, wenn hochaufgelöste Bilder vorliegen. Dies gilt besonders für die Überwachung von Objekten, wo es üblich ist, über einen längeren Zeitraum kontinuierlich Bilddaten wegzuschreiben und nach Verstreichen dieses Zeitraums von beispielsweise 48 oder 72 Stunden zyklisch mit dem Überschreiben älterer Daten zu beginnen, falls bis dann •kein Bedarf erkannt wurde, die Daten zu sichern. Tritt dagegen ein relevantes Ereignis auf, so liegt dieses in einem typisch kurzen Zeitraum und es ist dann gewünscht, die tatsächlich relevanten Details mit einer hohen Genauigkeit wiederzugeben.
Es ist daher bereits üblich, den Umfang von Bilddaten durch Kompression zu verringern. Ein bekanntes Verfahren (JEPG- Kompres'sion) unterteilt das Bild etwa in eine Vielzahl von gleich großen Bereichen („Kacheln") und führen auf jedem der Bereiche eine diskrete Cosinus-Transformation (DCT) mit anschließender verlustbehafteter Lauflängen-Kodierung der Ko- effizienten (Huffmann-Encodierung) durch. Durch die Bestim-
- l -
mung und Kompression der zu übertragenden Koeffizienten wird zugleich die Qualität des zu übertragenden Bildes bestimmt. Am Empfänger wird für jede Bildkachel eine Rücktransformation mit den übertragenen Koeffizienten durchgeführt und dann das Bild kachelartig wieder zusammengesetzt. Es sei in diesem Zusammenhang im übrigen erwähnt, daß die Begriffe „Sender" und „Empfänger" sowie „Übertragung" nur aus Gründen der Veranschaulichung gewählt sind. Es sei darauf hingewiesen, daß ein Senden von Daten stets auch lokal an eine bestimmte Einheit erfolgen kann, etwa einen Festplattenspeicher, und daß der Empfänger beispielsweise derselbe PC .sein kann, welcher zuvor als Sender Daten auf eine Festplatte gespeichert hat und nun wieder von dort liest, um sie anzuzeigen.
Selbst in rechenleistungsbegrenzten Kameras ist es problemfrei möglich, eine solche Kompression vorzunehmen und auf internen Speichern Bilder abzulegen, ohne vom Konzept der Begriffe „Sender" und „Empfänger" im- hier gebrauchten Sinne abzuweichen. Hier besteht aber oftmals sogar ein weiteres, auch allgemein gegebenes Problem in besonders gravierender Form, nämlich die Versorgung von mehreren Benutzern mit Bildern bei unterschiedlichen diesen möglichen- Datenraten, von diesen gewünschten Genauigkeiten oder dergleichen.
Die Kompression mit JPEG erlaubt nun bereits eine Datenreduktion unter zumindest' passabler Belassung der Bildqualität bei Einzelbildern. Für bewegte Bildsequenzen sind andere Verfahren bekannt. So ist das MPEG-Verfahren verbreitet, bei welchem Bereiche eines Bildes unverändert blockweise verschoben werden, um typischen Ereignissen bei bewegten Bildern wie de] Bewegung von Objekten, Personen usw. oder Kameraschwenks gerecht zu werden. Zu spezifizieren ist hier nur der Block und
- 2 - BESTATIGUNGSKOPIE
dessen Bewegung in einem sog. Schlüsselbild. Es ist auch möglich, für diese Codierung mehrere getrennte Bildbereiche zu isolieren, separat deren Verschiebung zu bestimmen und dann diese im Bild wieder zusammenzusetzen. So kann etwa eine erste Bewegung für den Kopf einer Person und eine zweite Bewegung für deren Körper ermittelt werden. Die unterschiedlich verschobenen Objekte werden dann am Empfänger wieder zusammengesetzt. Dabei wird aber in jedem Fall Gebrauch gemacht von einem Schlüsselbild, in dem Hintergrundinformation wiedergegeben ist und welches daher zwingend erforderlich ist, um eine bestimmte Szenerie rekonstruieren zu können. Weil aber das Schlüsselbild zwingend für die Rekonstruktion erforderlich ist, kann nicht mit der Anzeige eines Videostroms begonnen werden, bevor nicht dieses Schlüsselbild vorliegt. Zudem erfordert die Bereitstellung von Datenströmen mit unterschiedlicher Auflösung unterschiedliche Codierungen.
Nachteilig bei den bekannten Verfahren ist somit unter anderem, daß die Codierung oft sehr aufwendig ist, daß ein Schlüsselbild notwendig ist, daß die aufwendige Codierung und das Warten auf eine Schlüsselbildübertragung eine beachtliche Verzögerung zwischen der am Sender erfaßten Szene und der am Empfänger wiedergegebenen Szene mit sich bringt und, was für bestimmte Anwendungen besonders bedeutsam ist, daß wichtige Details, die sich von Bild zu Bild ändern können, nicht erkennbar sind, weil im wiedergeg.ebenen Bild nur ein unveränderter Block verschoben wird. Dies gilt insbesondere bei Sicherheitssystemen, wie sie' bei der Überwachung von Banken oder bestimmten Sicherheitsbereichen gebräuchlich sind. Sofern gewünscht ist, unterschiedliche Benutzer mit unterschiedlichen Bildern zu versorgen, ist in der Regel sogar eine jeweils separate Codierung erforderlich, was. auf Grund der
benötigten Rechenleistung zusätzlich Schwierigkeiten bereitet und/oder in höchst unerwünschter Weise Latenzzeiten erhöht. Bei der Übertragung bewegter Bilder mit verringerten Übertragungsraten lassen sich für die jeweils übertragenen Bildbereiche hohe Auflösungen erreichen. Es wäre wünschenswert, zumindest einige der obigen Probleme wenigstens partiell zu lindern.
Das Ziel der vorliegenden Erfindung besteht darin, Neues für die gewerbliche Anwendung bereitzustellen.
Das Ziel wird erreicht mit dem in unabhängiger Form Beanspruchten. Bevorzugte Ausführungsformen finden sich in den Unteransprüchen.
Die vorliegende Erfindung schlägt somit in einem ersten Grundgedanken ein Verfahren zur Bildsequenzdatenreduktion vor, bei welchem vorgesehen ist, daß Bildbereichspriorisie- rungsInformationen vorgesehen, eine Bildbereichspriorisierung anhand der Bildbereichspriorisierungsinformationen durchgeführt und sich insbesondere von Bild zu Bild und/oder mit der Zeit ändernde, hinreichend priorisierte Bildbereiche übertragen, werden.
Ein erster Wesentlicher Aspekt der vorliegenden Erfindung besteht damit darin, daß die Bilddatenkomprimierung durch Selektion erfolgt, die anhand spezifischer Selektionsinformationen vorgenommen wird. Dies erlaubt es, lediglich jene Bildbereiche zu extrahieren, die unter den zur Selektion herangezogenen Aspekten besonders wichtig sind, was von vornherein die Datenrate bei der Übertragung senkt und im übrigen ermöglicht, daß am Empfänger leicht Bilder aus den durch
- 4 - BESTATIGUNGSKOPIE
Priosierung im Hinblick auf die Priosierungsinformation selektierte Bildbereiche durch Verknüpfung rekonstruiert werden. Dazu ist lediglich erforderlich, eine entsprechende Menge an Bildbereichen mit ihrer jeweiligen Lage innerhalb eines Bildes sowie der Zeit, zu welcher sie übertragen bzw. aufgenommen wurden, abzulegen. Durch die Auswahl unter Berücksichtigung der Priorisierung wird also eine erste, massive Reduktion der Datenmenge erreicht.
Wie ersichtlich sein wird, erlaubt dies auch ohne weiteres eine Mehrnutzerversorgung mit unterschiedlichen Bildraten.
In einer besonders bevorzugten Variante wird auf der Seite des Empfängers ein Speicher für die unterschiedlichen Bildbereiche vorgesehen und es werden dann die Bilder aus den jeweils jüngsten, zur Verfügung stehenden Bildbereichen zusammengesetzt. Es sei noch einmal darauf hingewiesen, daß im Kontext der vorliegenden Anmeldung ein Empfänger auch ein Speicher sein kann, wie ein RAM oder eine Festplatte, auf der die Bilddaten abgelegt werden. Gleicherweise kann ein Empfänger entfernt vom Sender angeordnet sein und die Übertragung den Vorteil der niedrigen, auch nach Codierung wählbaren Datenübertragungsrate besitzen. Soweit nicht anders ersichtlich, ist gleichfalls zu verstehen, daß dann, wenn von einer verringerten Übertragungsrate die Rede ist, genauso gut auf das zeitliche Integral derselben Bezug genommen werden könnte, also auf die Gesamtdatenmenge einer Bildsequenz.
Es ist besonders bevorzugt, wenn innerhalb der Bildsequenz von Bild zu Bild zumindest für eine Vielzahl von Bildern gleiche Bereiche vorgesehen werden. Besonders leicht kann dies durch kachelartige Überdeckung des Bildes mit immer gleichen Kacheln erreicht werden. Aufgrund der Kürze und An-
schaulichkeit dieses Begriffes wird er nachfolgend oftmals an Stellen verwendet, an denen statt dessen genauso gut auf nicht-kachelartige Bildbereiche Bezug genommen wird.
Insbesondere eine kachelartige Überdeckung erlaubt zugleich eine besonders gute weitere Kompression des Datenstromes unter Rückgriff auf herkömmliche Verfahren, wie die JPEG- Kompression. Es sei in diesem Zusammenhang erwähnt, daß es durchaus möglich ist, unterschiedliche Kompressionsverhältnisse für unterschiedliche Kacheln vorzusehen. So kann für ein Auffrischen von .Bildbereichen ohne weitere Änderung eine andere Kompression gewählt werden als bei Kacheln, in denen große Änderungen im Bild vorliegen. Dadurch kann gegebenenfalls die Übertragungsrate noch weiter gesenkt werden. Bei unterschiedlichen Nutzern, die unterschiedliche Datenraten zulassen oder unterschiedliche Auflösungen bzw. Wiederholfrequenzen wünschen, ist es möglich, mit derselben Codierung zu arbeiten, also für alle Nutzer in gleicher Weise eine bereichsweise Priorisierung bzw. Codierung vorzunehmen und dann eine Selektion der codierten Bildinformation anforderungs- bzw. übertragungsabhängig zu gestalten und dann lediglich jene codierten Bereiche zu übertragen, die relativ neu sind. Es wird dadurch der Codieraufwand verringert und dennoch eine jeweils gute Übertragung mit dedizierter Übertragungsrate erhalten.
■ Als Bildbereich'spriorisierungsinforriiation können verschiedene Größen ausgewertet werden. Erwähnt sei insbesondere für die zyklische Auffrischung des Bildes die Zeit seit der letzten Übertragung; diese ist auch deshalb wichtig, weil durch die Berücksichtigung der Zeit seit der letzten Übertragung kurzfristig zurückliegende, sehr starke Änderungen herangezogen
werden können, um einen Bildbereich hoch zu priorisieren. Dies ist etwa dann vorteilhaft, wenn eine Person in ein Bild tritt, was an der Kante zunächst sehr starke Änderungen zur Folge hat. Es wird ein Benutzer dann aber typisch wissen wollen, was nach dem Eintritt der Person in das Bild zu sehen ist. Ein Kantendurchlauf wird daher typisch dazu führen, daß man den entsprechenden Bildbereich, einige Zeit länger beobachtet. Weiter ist es möglich, Differenzen eines Bildbereiches zu einem Vorgängerbildbereich in einem Vorgängerbild zu bestimmen, insbesondere dem unmittelbar vorhergehenden Bild, oder.einem mittleren Bild, wobei dieser Mittelwert unter Wichtung bestimmt werden kann, etwa, um ein allmähliches „Abklingen" eines Vorgängerbildes zu simulieren. Es kann auch das Auftreten von starken Änderungen in Nachbarfeldern berücksichtigt werden. Hier ist es insbesondere möglich, daß solche Nachbarbereiche mit verringerter Auflösung, also höherer Kompression ihrer Kacheln im Vergleich zu jenen Bereichen übertragen werden, in denen die Änderung tatsächlich stattgefunden hat. Die Zusammensetzung von Bildern zu Teilbildern aus Kacheln mit unterschiedlicher Kompression zu Zwecken der Datenübertragungsratenverringerung sei als Möglichkeit offenbart. Gleichfalls sei auf die Möglichkeit einer einfachen ' Ausschnittswahl hingewiesen, die von Benutzer zu Benutzer ohne Umcodierung variieren kann.
Wenn unterschiedliche Benutzer mit Bilddaten versorgt werden sollen, die an einer zentralen Stelle codiert wurden mit unterschiedlichen Übertragungsraten bzw. unterschiedliche Ausschnitte benötigen, so kann senderseitig eine Codierung vorgenommen werden, die insbesondere unter Zugrundelegung der Priorisierungsinformation nur die relevanten Felder der sich von erfaßtem Frame zu erfaßtem Frame (Einzelbild) ändernden
oder aus anderen Gründen zu erfassenden Bereichen abspeichert und dann lediglich die jüngsten sich geändert habenden Bildbereiche überträgt, die zur Aktualisierung des Bildes empfän- gerseitig benötigt werden und in der Übertragungsrate übertragbar sind.- Mit anderen Worten kann dann, wenn sich die Bildinformation in einem Bereich sehr schnell ändert, ein Benutzer, dem eine hohe Übertragungsrate zur Verfügung steht, sämtliche sich ändernde Bildinformation erhalten, während ein anderer Benutzer, dem nur eine geringere Übertragungsrate zur Verfügung steht, lediglich den letzten Zustand erfassen kann, der- sich in dem- entsprechenden Bildbereich eingestellt hat, während ihm die vorherigen schnellen Änderungen in genau diesem Bildbereich verborgen bleiben werden, da ihm die entsprechenden Bildbereiche nicht mitübertragen werden. Er erhält so aber dennoch zu dem Zeitpunkt der Bildübertragung an ihn die jeweils aktuellsten bzw. zeitgemäß relevantesten Informationen einer jeweiligen Kachel oder eines jeweiligen Bildbereiches, wobei auch hier jene Bildbereiche übertragen werden können, die lediglich periodisch aufzufrischen sind, ohne sich selbst massiv geändert zu haben.
Es sei weiter erwähnt, daß es einleuchtenderweise möglich ist, zusätzlich Audioinformation zu übertragen. Dies ist insbesondere dadurch möglich, dass jedem Benutzer, der Audiosignale wünscht, unabhängig von der ihm zur Verfügung stehenden Ubertragungsrate, sofern diese höher ist als die für die Au- dios.ignalübermittlung minimal erforderliche, regelmäßig alle Audiosignale übertragen werden, die während der Zeit seit der letzten Bildübertragung aufgelaufen sind. Auch sind bis Ende der Bildübertragung neu angefallene Audiodaten übertragbar. Daß hierbei die minimale Ubertragungsrate jener der für die - gegebenenfalls komprimiert möglichen - Audiosignalübertragung
erforderlichen entspricht, ist einleuchtend. Es sei auch erwähnt, daß hier eine Synchronisation von Ton und Bild etwa dergestalt erfolgen kann, daß die Audiosignale getrennt von den Bildinformationen bzw. Bildkachelinformationen abgelegt werden und mit Zeitmarken versehen sind, die insbesondere eine absolute Zeit angeben, wobei auch den Bildern entsprechende Zeitmarken hinzugefügt werden können. Dies erleichtert es sowohl zum Senden als auch empfängerseitig, eine Synchroni- sierung zwischen Bild- und Toninformation zu erhalten, auch wenn einsichtig sein wird, daß gerade bei sehr geringen Übertragungsraten, bei denen ein überwiegender Teil der Übertragungsbandbreite für die Audiosignalübertragung erforderlich ist und lediglich geringe Übertragungsgeschwindigkeiten für die Bildübertragung zur Verfügung stehen, die Bildübertragung womöglich so langsam wird, daß eine Asynchronität eventuell nicht vollständig unauffällig bleiben wird. Weiter sei darauf hingewiesen, daß es, was die Berücksichtigung von Einzelbildern angeht, möglich sein kann, daß nicht jedes von einem Bildwandler wie einem CCD- oder CMOS-Feld in einer Kamera zur Verfügung gestellte Einzelbild verarbeitet wird; dies kann insbesondere daran liegen, daß der in einer Kamera vorhandene Prozessor noch für andere Aufgaben benötigt wird, .so daß die Rechenleistung nicht für die Berücksichtigung jedes bildsen- sorseitig zur Verfügung gestellten Einzelframes ausreicht. Soweit hier also auf verarbeitete Bilder Bezug genommen wird, ist einsichtig, daß damit auch Fälle gemeint sein können, in denen gelieferte Bilder vollständig ausgelassen werden, ohne in der Kamera bzw. in anderen bildgebenden Systemen berücksichtigt .zu werden. Eine zeitliche Einzelbildäquidistanz ist soweit nicht zwingend erforderlich, auch nicht bei simultaner Audiowiedergabe .
Es wird darauf hingewiesen, daß zur korrekten, vollständigen die Wiedergabe von Audio-/Videodaten diese auf einem Empfänger zusammengeführt werden müssen. Dies kann hardwaretechnisch erreicht werden und/oder über einen geeigneten Viewer oder betriebssystemgesteuert erfolgen, insbesondere indem die Audio-/Videodaten in eine entsprechende Wiedergabe-Pipeline gespeist werden und synchron wiedergegeben werden. Um hier eine verbesserte Wiedergabe zu ermöglichen, ist es bevorzugt, wenn der Pufferspeicher im Audiobereich zumindest die selbe Zeit puffern kann wie im Videobereich, was typisch angesichts der geringeren Datenmenge für ' Audiod.aten in der Regel problemfrei möglich ist.
Es sei erwähnt, daß es möglich ist, einen Datenstrom an einen oder mehrere der Benutzer zu speisen, ohne auf Rückmeldung von diesem zu warten, so daß sich ein Live-Datenstrom im Push-Weg ergibt. Alternativ können Bitstromteile jedes Mal separat abgerufen werden. Es ist möglich, eine Datenübertragungsrate anzupassen im Hinblick auf einen volllaufenden Abnahmespeicher oder dergleichen, also eine dynamische Ubertragungsrate auch für unterschiedliche Nutzer zuzulassen, so daß jeder oder zumindest einige der Nutzer dynamische Datenraten erhalten.
Es ist möglich,, bei der Differenzbildung Helligkeits- und/ oder Farbunterschiede in wenigstens einem Farbkanal auszuwerten. Es sei- auch erwähnt, daß diese Unterschiede unter Berücksichtigung von Schwellwerten und/oder typischen, mittleren Änderungen von allen Kacheln für .eine aktuelle Priorisierung herangezogen werden können. Bei der Priorisierung können sowohl lokale als auch globale Unterschiede zu einem unmittelbar oder langfristig zurückliegenden Bild. ausgewertet wer-
den. Globale Unterschiede berücksichtigen dabei Änderungen im Gesamtbild, wie sie etwa durch das Einschalten einer Beleuchtung auftreten, lokale berücksichtigen eher die tatsächlichen Änderungen in einer Bildkachel oder einem anders definierten Bildbereich. Bezüglich der Bildkacheln sei noch einmal betont, daß einleuchtenderweise überlappende und/oder nicht, rechteckige Bildbereiche gleichfalls für die Priorisierung herangezogen werden können und eine Kachelung mit aneinander- liegenden Kacheln keinesfalls zwingend, wohl aber vorteilhaft ist.
Verschiedene Einflußfaktoren bei der Priorisierung, wie sie nur' beispielhaft für bevorzugte Formen der Erfindung genannt wurden, können auf unterschiedliche Weise verknüpft werden, etwa durch additive Verknüpfung dergestalt, daß gleichzeitig eine Reihe von Bedingungen erfüllt sein muß, damit ein Bildbereich für die Übertragung/Codierung ausgewählt wird und/oder es kann eine Wichtung bzw. eine Bestimmung mittels Verfahren der unscharfen Logik erfolgen.
Besonders bevorzugt ist es, wenn dem Datenstrom der zu übertragenden Bildbereiche Information darüber beigefügt wird, welche die Lage der priorisierten Bildbereiche im Bild angibt. Alternativ wäre es möglich, diese Information am Empfänger zu rekonstruieren, da auch bei starken Änderungen im Bild typisch noch jene Kacheln oder Bildbereiche identifizierbar sind, die jeweils- übertragen wurden. Der typische Overhead durch die Mitübertragung von Bereichsinformation ist jedoch so gering, daß der zusätzliche Rechenaufwand bevorzugt vermieden wird.
- ll -
Daß neben einer Kachelung auch andere Arten der Bildbereichs- bestimmung wie eine Vektorisierung, Polygonzugbestimmung usw., Bitmapübertragung etc. möglich ist, sei erwähnt.
Es sei erwähnt, daß die Verfahren in Videokameras oder dergleichen implementierbar sind, genauso wie in herkömmlichen ComputerSystemen. Schutz wird daher auch beansprucht sowohl für eine Video- bzw. Web- oder Konferenzkamera, die zur Ausführung eines der Verfahren der Erfindung bestimmt und geeignet ist, als auch für Software, die beim Aufspielen auf eine Bilddaten manipulierende Einrichtung wie .ein Computersystem • die Ausführung eines Verfahrens gemäß der Erfindung ermöglicht. Besonders erwähnt seien die als erfinderisch anzusehenden Ausgestaltungen, die es ermöglichen, Videokonferenzen etc. mit Tonübertragung zuzulassen. Die Verwendung zur Speisung von Bilddaten mit unterschiedlichen Datenstromraten an unterschiedliche Benutzer und/oder mit zusätzlicher Audioinformation sei erwähnt. Daß sich hier weitere Vorteile ergeben, etwa weil eine solche Kamera auch Standbilder generiert (z. B. als JPG-Dateien) , ohne Mehraufwand zu erfordern und/oder weil sie aufgrund des vorhandenen Bildspeichers besonders gut Prä-/p.ostalarm-Infor-mationen bereitstellen kann, ist einsichtig. Die besonders gute Speicherung von Prä- /Postalarm-Informationen ergibt sich schon daraus, daß zu einzelnen Bildern hier nicht zwingend Rohdaten abzulegen sind sondern vielmehr die codierten, komprimierten Daten und daß auch jeweils nur hochpriorisierte Bildkacheln, oder 'Bildbereiche abzulegen sind, so daß die Gesamtmenge an relevanten Informationen relativ niedrig ist.
Daß gegebenenfalls auch eine Verwendung im Bereich von Codierungen wie MPEG-4 möglich ist, sei gleichfalls erwähnt.
Darüber hinaus wird Schutz begehrt sowohl bezüglich Datenträgern, die zur VerfahrensImplementierung geeignete Software beinhalten als auch für ein Verfahren zur Herstellung solcher Datenträger und für die Durchführung von erfindungsgemäßen Verfahren verwendende Konferenzen.
Die Erfindung wird im folgenden nur beispielsweise anhand der Zeichnung beschrieben. In dieser zeigt:
Fig. 1 eine Anordnung zur Übertragung datenkomprimierter Bilder von einer Szene,
Fig. 2 eine Veranschaulichung der Bildbereichspriorisierung,
Fig. 3 eine Veranschaulichung einer Bildrekonstruktion am Empfänger,
Fig. 4 eine Veranschaulichung einer möglichen Hardware- Implementierung für einen Bildsender.
Nach Fig. 1 umfaßt eine allgemein mit 1 bezeichnete Anordnung 1 zur Datenkompression bzw. -re.duktion bei der Übertragung von Bildern aus einer Sequenz, die hier beispielhaft eine Szene 2 an einem Bankschalter darstellt, einen Bildgeber 3, eine nachgeordnete Bilddatenredukt.ions- und -übertragungsein- heit 4, in welcher wie nachfolgend noch detailliert beschrieben wird, Bildbereichspriosierungsinformation vorgesehen, eine Bildbereichspriosierung anhand der Bildbereichspriosie- rungsinformation durchgeführt und hinreichend priorisierte Bildbereiche über eine Übertragungsleitung 5 an einen Empfänger 6 übertragen werden, der, wie noch beschrieben wird, dazu ausgebildet ist, übertragene Bildbereiche einer Vielzahl von Bildern einer Sequenz zwischen.zuspeichern und zur Anzeige von
Einzelbildern und/oder der gesamten Bildsequenz zu verknüpfen.
Die Bildszene 2 im vorliegenden Beispiel zeigt einen aus vorgegebener Richtung beobachteten Bankschalter 2a mit Publikumsverkehr, dargestellt durch eine Person 2b, und im Bildbereich befindliche bankübliche Einrichtung, hier dargestellt als Pflanze 2c. Es wird einsichtig sein, daß bei der Überwachung der Szene 2 besonderes Gewicht auf die Beobachtung des Kundenverkehrs, wie durch die Person 2b symbolisiert, und weniger Gewicht' auf die Möblierung, wie durch den Schalter 2a und die Pflanze 2c symbolisiert, zu legen ist.
Der Bildgeber 3 ist im vorliegenden Fall als Kamera mit CCD- Feld ausgebildet, welche Bilder aus der in Fig. 2a (I) - 2a (V) gezeigten Perspektive der Szene 2 liefert. Wie erkennbar, ist diese Perspektive unveränderlich, die Kamera also fest montiert; dies ist allerdings nicht zwingend der Fall, sondern wurde nur aus Gründen der erleichterten Erläuterung so gewählt.
In der Bilddatenreduktions- und -Übertragungseinheit .4 ist ein Eingang 4a für die Bildsignale aus der Kamera 3 vorgesehen. Es ist ein interner Speicher 4b mit dem Eingang 4a verbunden, der dazu ausgelegt ist, mehrere Bilder zunächst vollständig aufzunehmen und ganz oder bereichsweise wiederholt in eine Priorisierungsstufe 4c auszugeben. • Der Speicher 4b weist für wenigstens zwei Bilder Speicherkapazität auf. Die Priorisierungsstufe 4c ist zur Untergliederung einzelner Bilder, in mehrere Bildbereiche und zur Priorisierung der jeweiligen Bereiche in einem Bild ausgebildet, wobei die Priorisierungsstufe 4c zum Empfang von Priorisierungsinformation aus einem
Prioris-ierungsinformationsspeicher 4d ausgebildet ist. Die Priorisierungsstufe 4c ist an einem Ausgang mit einer Bildbe- reichskompressions- und -Übertragungsstufe 4e verknüpft, die dazu ausgebildet ist, Daten zu Bildbereichen in komprimierter Form auf die Übertragungsleitung 5 zu speisen. Die Übertragungsleitung 5 ist in ihrer Bandbreite begrenzt, und zwar derart, daß nicht dauerhaft Bildsequenzen vollständig und unkomprimiert übertragen werden können.
Der Empfänger 6 weist hinter dem Auslaß für die Übertragungs- leitung 5 eine Eingangsstufe 6a mit einem Speicher für die übertragenen Bildbereiche und die zusätzlich übertragene Information über deren Lage im jeweiligen Bild auf. Diese Eingangsstufe ist mit der Verknüpfungsstufe 6b verbunden, die lesend auf den Speicher der Eingangsstufe zugreift und die aus dem Speicher gelesenen Daten auf noch zu beschreibende Weise verknüpft. Der Verknüpfungsstufe 6b ist eine Bildausgabeeinheit 6c nachgeschaltet, um die zu einem Bild verknüpften Bereiche an ein Anzeigegerät auszugeben.
Es sei erwähnt, daß die Bilddatenreduktions- und -Übertragungseinheit durch eine programmierbare Mikroelektronik wie einen PC oder eine dedizierte Signalaufbereitungselektronik' realisiert sein kann, genauso wie es möglich ist, den- Empfänger und die beschriebenen Stufen etwa durch Software auf einem Computersystem zu realisieren. Weiter ist es einleuchtenderweise, möglich, Empfänger und Sender zusammenzufassen, wobei gegebenenfalls auf ein und demselben System, etwa einem PC, gleichzeitig eine Bildaufbereitung, Abspeicherung und Wiedergabe erfolgen kann.
Mit dem beschriebenen System erfolgt nun eine Bildsequenzdatenreduktion, also eine Komprimierung der Daten einer Bildsequenz, etwa eines kontinuierlichen Stroms an Videodaten mit 15 - 40 Bildern pro Sekunde, wie nachfolgend unter Bezugnahme auf Fig. 2 und 3 erläutert. Anhand von Fig. 2 wird dabei die Bildbereichspriorisierung erläutert, anhand von Fig. 3 die Bildrekonstruktion eines Bildes einer Bildsequenz.
Die Fig. 2a (I - V) zeigt aufeinanderfolgend aufgenommene Bilder der Szene 2. In den Bildern (I) und (II) ist eine Person am Bankschalter gezeigt, die über einen längeren Zeitraum dort unbeweglich steht, so daß Änderungen von Bild (I) zu Bild (II) lediglich durch Rauschen bedingt sind. Im Bild (III) zieht die Person eine Waffe. In Bild (IV) beginnt die Person zu sprechen, was dazu führt, daß sich der Bereich um den Mund zwischen Bild (III) und Bild (IV) stark ändert. Zugleich ist durch das Abfallen eines Blattes der dargestellten Pflanze eine zufällige Änderung im Hintergrund aufgetreten. Es wird einsichtig sein, daß diese Änderung im Hintergrund für den Betrachter der Überfall-Szene von untergeordnetem Interesse ist. In Bild (V) wendet sich die Person mit dem Gesicht -der Kamera zu.
Diese Szene, die nur aus Gründen der leichteren Erläuterung und ungeachtet der bei tatsächlichen Videosequenzen mit höheren Frameraten typisch geringeren Änderungen von Bild zu Bild so gewählt wurde, kann nun wie folgt mit reduzierten Daten durch die Verwendung der Vorrichtung 1 übertragen werden.
Die Bilder (I) - (V) werden zunächst in eine Vielzahl von Bildbereichen unterteilt, nämlich vorliegend in 6 x 8 Ka- '
cheln, die von Bild zu Bild identisch liegen. Dies ist durch das Gitternetz in den Bildern gezeigt.
Weiter wird der unterschiedlichen Bedeutung der Bildbereiche Rechnung getragen.
Fig. 2 (b) zeigt ganz links Bereiche, die für den Betrachter von geringerem Interesse sind. Es handelt sich hier einerseits um den Bereich . links im ersten Bild der Reihe nahe des Schalters, der vollständig unveränderlich ist, und den Bereich ganz rechts in diesem Bild, der die gleichfalls fast nicht veränderliche Bankmöblierung, • d. h. eine Pflanze zeigt. Diese Bereiche geringeren Interesses können vom Benutzer vorgegeben und als Priorisierungsinformation in der Bilddatenre- duktions- und -Übertragungseinheit 4, insbesondere im Priori- sierungsinformationsspeicher 4d derselben, abgelegt werden oder durch langfristige Beobachtung von Veränderungen automatisch identifiziert werden.
Von Bild (I) nach Bild (II) treten Änderungen, wie vorstehend beschrieben, nur durch Rauschen auf. Die Kacheln mit den größten Änderungen des Rauschwertes sind dabei im ersten Bild von Fig. 2b (ganz links in der Reihe) markiert. Die Markierungen tragen dabei der Stärke des Rauschens Rechnung. Eine Schlangenlinie deutet an, daß das Rauschen unterhalb der eine ■ Übertragung rechtfertigenden Schwelle liegt, während bei dem Kreuz eine so große Änderung erkannt wurde, daß eine tatsächlich relevante Änderung zunächst nicht ausgeschlossen werden soll. Es ist einsichtig, daß typisch in jeder Kachel Rauschen auftreten wird. Mit den Schlangenlinien gekennzeichnet sind daher nur jene Kacheln, in denen das Rauschen zwischen Bild (I) und Bild (II) die größten Unterschiede verursacht hat.
Nun ist in Fig. 2b im Bild ganz links zu erkennen, daß zwei Kacheln, die wie durch die Kreuze erkennbar eine besonders große Rauschdifferenz zwischen beiden Bildern aufweisen, im als uninteressant bestimmten und damit herunterpriorisierten Bereich der Pflanze liegen. Dies ist in Fig. 2c im Bild ganz links dadurch angedeutet, daß dort anstelle der beiden Kreuze eine Null eingezeichnet ist, was bedeutet, daß nach der Verknüpfung der Information über den sich am stärksten geändert habenden Bereich mit der Information über die typische Relevanz derselben Bereiche, in denen diese Änderung auftritt, auf eine Übertragung verzichtet werden kann. Die Bilder von Fig. 2c ganz links werden also gewonnen durch Bestimmung der Differenzen zweier Bilder unter Berücksichtigung der typischen Relevanz desselben aufgrund des jeweiligen Bereiches.
Fig. 2d zeigt nun, daß neben dem durch Differenzbildung und ' Vergleich mit besonders relevanten Bereichen als zu übertragen ermittelten Bildbereichen noch zyklisch weitere hinzugenommen werden. Im gezeigten Beispiel ist dies ein Dreierkachelblock, . der sich von Bild zu Bild mäanderförmig weiterbewegt, wie durch den schlangenlinienförmigen Pfeil angedeutet und bei Betrachtung der Bilder von links nach rechts klar ersichtlich. Dieser Block wird unabhängig davon übertragen, ob eine Bildkachel .in einem per se uninteressanten Bereich liegt oder nicht. Im gezeigten Beispiel werden die 6 x 8 Kacheln, in welche jedes Einzelbild zerlegt wird, mit Dreiergruppen nach Übertragung von 16 Teilbildern vollständig übertragen. Spätestens nach 16 Teilbildern wurde also jede Kachel einmal neu übertragen, und zwar selbst dann, wenn keine Änderung in ihr vorliegt. Fig. 2e zeigt daher ganz links, daß für die Übertragung lediglich die drei Bildkacheln aus der zyklischen
Übertragung und eine Kachel mit hohem Rauschen zu berücksichtigen sind.
Im Vergleich zwischen Bild (II) und Bild (III) in Fig. 2a zeigen sich nun die größten Änderungen im Bereich der frisch gezückten Waffe. Diese Änderungen sind sehr groß. Insbesondere sind sie deutlich größer als die gerade über die Rauschschwelle kommenden, mit Kreuzen markierten Änderungen zwischen den Bildern (I). und (II) . Aus diesem Grund werden die beiden- Kacheln mit den größten Änderungen mit einem Ausrufezeichen versehen und es wird festgestellt, daß,' aufgrund der sehr großen Änderung, Nachbarkacheln als priorisiert mit zu übertragen sind. Dies ist durch die Umrahmung der beiden mit Ausrufezeichen versehenen Kacheln angedeutet, vgl. Fig. 2b, 2. Bild links. Das Feld um die beiden wichtigsten Kacheln ist insgesamt 3 x 4 Kacheln groß. Von diesen zwölf Kacheln liegen aber, wie in Fig. 2c im zweiten Feld von links zu erkennen, zwei Kacheln in dem als prinzipiell nicht interessant markierten Bereich. Diese Kacheln werden wiederum ausgeblendet. Fig. 2c zeigt, wo Kacheln für die zyklische Auffrischung im aktuellen Bild vorzusehen sind und Fig. 2e zeigt, welche Kacheln nach Berücksichtigung der zyklischen Auffrischung tatsächlich zu übertragen sind. Wie ersichtlich, werden insgesamt dreizehn Kacheln übertragen.
Die Bilder (III) und (IV) unterscheiden sich voneinander in jenen Kacheln, in denen, der Mund der Person liegt und in welchen das heruntergefallene- Blatt der Pflanze sich befand. Um die Kachel mit dem sich bewegenden Mund herum wird aufgrund der großen Änderung wieder ein Rahmen gezogen, da typisch auch in Nachbarkacheln Änderungen relevant sein könnten und überdies damit ein vollständiger Bildausschnitt mit der Umge-
bung der Änderung für die Übertragung vorgesehen werden kann. Um die starke Änderung an der Kachel des abgefallenen Pflanzenblattes herum wird hingegen kein Rahmen gezogen, weil festgestellt wird, daß diese Kachel innerhalb eines per se nicht interessierenden Bereiches liegt. Weiter wird bei der Priorisierung von für die Übertragung auszuwählenden Bereichen festgestellt, daß zuvor im Bereich jener Kacheln, in denen die Waffe aufgetaucht ist, starke Änderungen vorlagen. Es kann daher nicht ausgeschlossen werden, daß weiterhin relevante Details dort erkannt werden können, auch wenn die Gesamtänderungen im Vergleich zu anderen Änderungen des Bildes gering sein mögen. Dies ist durch ein Fragezeichen in den re- spektiven Kacheln angedeutet, vgl. Fig. 2b. Fig. 2c zeigt, daß somit für die Übertragung jene Bildbereiche priorisiert werden, die in Nachbarschaft der mit Ausrufezeichen versehenen Bildkachel liegen sowie die beiden Kacheln, in welchen zuvor die größte Änderung beobachtet wurde. Hinzu kommen wiederum, wie in Fig. 2d angedeutet, drei Kacheln aus dem zyklischen Durchlauf des Bildes. Fig. 2e zeigt, wo damit die vierzehn insgesamt zu übertragenden Kacheln liegen.
Im Vergleich der Bilder (IV) und (V) .liegt die größte Änderung im Bereich des Kopfes, wobei ein Teil der Kacheln mit starken Änderungen zuvor schon aufgrund der Bewegung des Mundes betrachtet wurde. Fig. 2c zeigt ganz rechts jene zwölf Kacheln, die dementsprechend ausgewählt wurden, Fig. 2d zeigt ganz rechts, welche drei Kacheln durch die zyklische Auffrischung hinzukommen und Fig. 2e zeigt, welche Kacheln tatsächlich für die Übertragung bereitgestellt werden.
Aus dem Vorstehenden ist ersichtlich, daß eine Priorisierung u. a. erfolgt im Hinblick auf die allgemeine Bedeutung be-
sti mter Bildbereiche, die sich durch Benutzervorgaben und/oder aus der Bildanalyse selbst ergibt, daß und wie Rauschschwellen, Größen der Änderung auch und insbesondere im Vergleich zu anderen Kacheln im aktuellen Bild, die kurzfristige Historie von Differenzen und die Berücksichtigung von Änderungen in nahebei liegenden, vorliegend nur beispielhaft unmittelbar angrenzenden Bildkacheln herangezogen werden können. Es sei erwähnt, daß weitere Kriterien hinzukommen können und/oder Teile oder alle der oben genannten Kriterien wegfallen können und dennoch eine beachtliche Bildsequenzdatenreduktion erhalten wird'. Es sei weiter erwähnt, daß andere Möglichkeiten der Verknüpfung der Priorisierungsinformation als die oben bestehende möglich sind, also eine Verknüpfung unter Verwendung von Verfahren der unscharfen Logik, Wichtung usw. erfolgen kann.
Fig. 3 zeigt nun, wie die zu bestimmten Zeiten übertragenen Bildbereiche innerhalb des Bildes liegen. Es ist einzusehen, daß diese Bereiche in einem Speicher im Empfänger, vorliegend im Speicher 6a, abgelegt und für die Rekonstruktion eines gegebenen Bildes ausgelesen werden können. Die Bilder der Sequenz sind in Fig. 3 durch die Zeiten (t-0, t-1, • t-2 .... ) charakterisiert, zu welchen sie aufgenommen wurden.
Um nun für den Zeitpunkt t = 0 ein möglichst aktuelles Bild zu konstruieren, werden zunächst all jene Kacheln herangezogen, die für diesen Zeitpunkt t-0 übertragen wurden. Sie sind in der untersten Zeile von Fig.. 3 mit 0 im. Bild gekennzeichnet. Danach werden all jene Kacheln berücksichtigt, die- für das Bild t-1 übertragen wurden und noch nicht im Bild t-0 gefunden werden konnten. In der letzten Zeile sind diese mit einer 1 im Bild gekennzeichnet. Danach wird ermittelt, welche
Kacheln weder in Bild t-0 noch in Bild t-1 auftauchen, aber in Bild t-2 gefunden werden können. Diese erhalten in der letzten Zeile an den entsprechenden Stellen eine 2. Dies setzt sich fort bis zum Bild t-15. Spätestens jetzt sind durch den zyklischen Durchlauf alle Kacheln einmal vorhanden. Das zum Zeitpunkt t-0 anzuzeigende Bild hat also eine geringe Anzahl von Kacheln, die höchstens sechzehn Bilder in der Sequenz zurückliegen und eine große Anzahl von Kacheln aus Bildern, die jünger sind. Insbesondere sind im Bild, das für den Zeitpunkt t = 0 ausgegeben wird, im relevanten Bereich primär Kacheln vorhanden, die sehr frische Änderungen aufweisen.
Die Erfindung ist auch besonders vorteilhaft für die Speisung von Datenströmen mit unterschiedlichen Übertragungsraten an unterschiedliche Nutzer. Dies sei erörtert am Beispiel einer dedizierten Hardware, wobei zugleich hinzuweisen ist auf die Existenz anderer Implementierungsmöglichkeiten.
Nach Fig. 4 kann eine dedizierte Hardware insbesondere in der Kamera oder einem anderen Bildsender implementiert werden. Hierzu wird eine bildgebende Einheit 40 vorgesehen, die zum Speisen von Rohbi.lddaten mit einem Rohbilddatenspeicher 41 verbunden ist, der seinerseits dazu ausgebildet ist, abgearbeitete Bilddaten an einen Vorbildspeicher zum Speichern von Vorbilddaten zu speisen. Daß dies durch Paging oder dergleichen realisiert werden kann, so daß die Daten nicht physikalisch übertragen werden müssen, sei erwähnt. Die Möglichkeit des Bild-/Vorbildpagings ist durch den gemeinsamen Speicher 43. für aktuelle Rohbilddate.n und Vorbildrohdatenspeicher 42 angedeutet.
Weiter sind die Rohbilddaten aus dem Rohbilddatenspeicher 41 einerseits in einen Komparator 44 speisbar, an den auch eine Leitung 45 aus dem Vorbildrohdatenspeicher führt, und der dazu ausgebildet ist, auf Änderungen im Rohbild zwischen aktuellem und Vorbild zu detektieren (wobei zwar gegebenenfalls auch eine Vollbildcodierung vorgenommen werden könnte und dann der Vergleich an Hand der komprimierten Daten vorgenommen wird, dies aber im dargestellten Ausführungsbeispiel auf Grund der geringeren erforderlichen Rechenleistung wie bevorzugt nicht der Fall ist) . Weiter ist eine Verbindung vorgesehen zur Übertragung der aktuellen Rohbilddaten an einen Codierer, im dargestellten Ausführungsbeispiel einen JPEG- Codierer 46, der dazu ausgebildet ist, die eigentliche Codierung vorzunehmen. Der JPEG-Codierer 46 gibt über eine Leitung 47 Daten frameweise an einen Framebuffer 48 aus, in dem zeitlich sukzessiv erhaltene Bilddaten abgespeichert werden, und zwar jeweils nur die sich geändert habenden Kacheln. Dem Framebuffer 48 ist ein Kachelzähler 49 zugeordnet.
Der Framebuffer ist nun so organisiert, daß zeitlich aufeinander folgende Bildbereichsinformation, vorliegend komprimierte Bildbereiche zu einer Vielzahl von Bildbereichen, auch wiederholt abgelegt werden können.
Mit anderen Worten wird Bildbereichsinformation aus wichtigen Bildbereichen, in denen dauernd eine Änderung stattfindet, in jedem Frame zu finden sein, während zu den Bildbereichen, in denen nur selten eine Änderung erfolgt, auch nur selten Bildbereichsinformation abgelegt wird.
Der Framebuffer 48 ist über eine Kommunikationsleitung verbunden mit einer Datensendeeinheit, die Bilddaten für den
Versand zusammenstellt, und zwar dergestalt, daß entsprechend der Ubertragungsrate jeweils die aktuellsten sich geändert habenden Kacheln zusammengestellt werden, ähnlich wie dies für den Wiedergabefall in Fig. 3 detailliert erläutert ist. Von dieser Übertragungseinheit 50 sind dann Daten ausgebbar über eine geeignete Schnittstelle, wie einen WLA -Anschluß, einen Internet-Anschluß, GSM oder dergleichen.
Die Verknüpfbarkeit mit Audiodaten sei erwähnt; die hierfür vorgesehenen Schaltkreise sind jedoch nicht dargestellt. Hierzu kann eine Zeitcodierung der .im Framebuffer abgelegten Kacheln erfolgen und es wird dann die gesamte Audioinformation gleichfalls bei ihrer Wandlung mit Zeitmarken versehen, um sicherzustellen, daß alle Audioinformation, die seit einem letzten Bildabruf aufgelaufen ist, übertragen wird.
Die Anordnung wird zur Speisung von Daten mit unterschiedlichen Übertragungsraten verwendet wie folgt:
Ein erster Benutzer, der ein Standbild benötigt, erhält, ausgehend vom aktuellen Framebufferbereich Bilddaten zusammengestellt, bei denen für ein anzuzeigendes Bild die jeweils jüngsten verfügbaren Kacheln verwendet werden. Das so zusammengestellte Bild wird ihm übertragen. Fordert er, was möglich ist, zur Präalarm-Erfassung ältere Daten an, so werden ihm solche zusammengestellt, die die jeweils jüngsten verfügbaren seit dem Stichzeitpunkt verwenden.
Einem weiteren Benutzer, der einen Videostrom geringer Ubertragungsrate benötigt, werden periodisch jene Bilder zusammengestellt und übertragen, die jeweils jüngste Bildkacheln für alle Bereiche umfassen. Fordert er nun eine höhere Über-
tragungsrate, so werden ihm öfter solche Bilder übertragen; demgemäß erhält er jetzt oftmals Bildkacheln, die er andernfalls, also bei geringerer zeitlicher Auflösung, als später schon überholt nicht sehen würde. Die höhere Ubertragungsrate äußert sich so in einer größeren Bilddatenaktualität. Daß dabei die als hinreichend aktuell übertragenen Daten ihrerseits auf schon gegenüber zeitgleich aufgenommenen Bildbereichen priorisiert sind, ist aus dem Vorstehenden verständlich. Benötigt der Nutzer auch Ton, werden ihm zunächst die Tondaten seit der letzten Anforderung übertragen und dann Bilddaten dazugehöriger Z.eit. Dies stellt Synchronizität sicher.
Daß es möglich ist, insbesondere vor Übertragung weiterer Bildinformationen, also höher priorisiert als diese, neu aufgelaufene Audioinformation an einen Benutzer zu übertragen und so einen kontinuierlichen Audiostrom vorzusehen, sei erwähnt .
Gleichfalls sei erwähnt, daß die vorstehende Beschreibung ausschließlich dem schnellen Verständnis der Erfindung dient und daß Variationen ohne weiteres erkennbar sind. So ist es nicht zwingend erforderlich, die Ubertragungsrate von. Bild zu Bild zu variieren. Es kann auch eine feste Übertragung von jeweils n Kacheln eines Bildes vorgesehen werden. Es ist möglich, von der Art und Weise abzuweichen, in der das Bild zum zyklischen Auffrischen durchlaufen wird, es sind andere Prio- risierungen usw. möglich. Das „Abklingen" von Bildern kann länger als nur ein Bild andauern und etwas von der Änderungssignifikanz und/oder gegebenenfalls weiteren Änderungen abhängen. Es können Helligkeitsunterschiede und/oder Farbkanalunterschiede einzeln und/oder gemeinsam ausgewertet werden. Es sei darauf hingewiesen, daß jede einzelne Kachel vor
ihrer Übertragung einer eigenen Kompression wie einer Wave- let-Kompression oder dergleichen unterworfen werden kann. Dies ermöglicht es insbesondere, an ein und demselben Sender über eine beispielsweise andere Leitung ein typisches JPEG- Standbild auszugeben und zugleich bewegte Bildsequenzen zu erzeugen und/oder durch einfache Verknüpfung von Kacheln ein Standbild im Standardformat zu erzeugen.