Beschreibung
Verfahren zum Bearbeiten eines digitalisierten Bildes und Bild ommunikationssystem
Die Erfindung betrifft ein Verfahren zum Bearbeiten eines digitalisierten Bildes und ein Bildkommunikationssystem.
Insbesondere bei dem Abruf digitalisierter Bilder über einen schmalbandigen Kanal, beispielsweise über eine übliche Funkverbindung oder eine übliche Telefonleitung beispielsweise gemäß dem Internet-Protokoll oder bei einer ein digitalisiertes Bild anfordernden Vorrichtung, die ein sehr kleines Display aufweist, ist es vorgesehen, nur einen gewünschten, interessierenden Teil des angeforderten Bildes mit großer Genauigkeit zu codieren und zu übertragen. Der restliche Teil des Bildes wird mit einer geringeren Genauigkeit codiert und übertragen.
Das digitalisierte Bild weist Bildpunkte auf, denen
Codierungsinformation, beispielsweise Helligkeitsinformation und/oder Farbinformation, zugeordnet ist.
Als Bildcodierungsverfahren wird üblicherweise ein blockbasiertes und/oder objektbasiertes und/oder waveletbasiertes Bildcodierungsverfahren sowohl zum Codieren einzelner Stand-Bilder (z.B. das Verfahren gemäß dem Standard JPEG oder JPEG 2000) als auch zum Codieren einer Folge von Bildern (z.B. das Verfahren gemäß einem der Standards MPEG1, MPEG2, MPEG4, H.261, H.263, H.263L) eingesetzt.
Das Codieren des restlichen Teils des Bildes mit geringerer Genauigkeit, das heißt insbesondere mit geringerer örtlicher Auflösung, wird gemäß dem Stand der Technik dadurch erreicht, dass die Codierungsinformation der Bildpunkte des restlichen Teils des Bildes tiefpassgefiltert wird, so dass das
Datenvolumen zur Beschreibung der Codierungsinformation reduziert wird.
Soll das decodierte Bild auf einem kleinen Display der zweiten Vorrichtung dargestellt werden, so ist es bekannt, den restlichen Teil des Bildes unterabzutasten, wodurch ebenfalls eine geringere örtliche Auflösung erreicht wird, mit der der restliche Teil des decodierten Bildes dargestellt wird.
Weist das digitalisierte Bild mehrere Bildebenen mit unterschiedlichen Informationen auf, beispielsweise ein digitalisiertes Bild mit karteographischen Daten, so ist es bekannt, den interessierenden Bildbereich des decodierten Bildes mit mehr Bildebenen darzustellen als den restlichen Teil des Bildes.
Das Codieren und Decodieren gemäß dem Stand der Technik ist in Fig.2 dargestellt.
Ein Bildkommunikationssystem 200 gemäß dem Stand der Technik weist eine erste Vorrichtung 201 mit einer Bildcodiereinheit und eine zweite Vorrichtung 202 mit einer Bilddecodiereinheit auf, die zum Durchführen des entsprechenden Bildcodierungsverfahrens eingerichtet ist.
In der zweiten Vorrichtung 202 wird eine Anforderungsnachricht 203 gebildet und an die erste Vorrichtung 201 übertragen.
In der Anforderungsnachricht 203 ist die Position des interessierenden Bildbereichs innerhalb eines durch die Anforderungsnachricht 203 angeforderten Bildes und die zu verwendende Auflösung zum Codieren des interessierenden Bildbereichs und des restlichen Bildbereichs enthalten.
In der ersten Vorrichtung 201 werden gemäß der in der Anforderungsnachricht 203 enthaltenen Information der interessierende Bildbereich und der restliche Bildbereich mit der angeforderten örtlichen Auflösung unter Verwendung vorgegebener, festgelegter Filterfunktionen codiert und als codiertes Bild 204 an die zweite Vorrichtung 202 übertragen.
Ist die Auflösung des decodierten Bildes in der zweiten Vorrichtung doch nicht ausreichend, so wird von der zweiten Vorrichtung 202 eine weitere Anforderungsnachricht 205 gebildet und an die erste Vorrichtung 201 übertragen.
In der weiteren Anforderungsnachricht 205 ist wiederum der interessierende Bildbereich und dessen gewünschte Auflösung angegeben.
Von der ersten Vorrichtung 201 wird das Bild wiederum vollständig, diesmal gemäß den in der weiteren Anforderungsnachricht 205 enthaltenen Informationen codiert und als weiteres codiertes Bild 206 an die zweite Vorrichtung 202 übertragen.
Nachteilig an dieser bekannten Vorgehensweise ist insbesondere deren Inflexibilität hinsichtlich veränderten Anforderung, das heißt veränderten Wünschen auf der Seite des Benutzers der zweiten Vorrichtung. Insbesondere für den Fall, dass der Benutzer der zweiten Vorrichtung einen anderen Bildbereich des Bildes mit größerer Auflösung, sei es mit größerer örtlicher oder mit größerer spektraler Auflösung betrachten möchte, weist das bekannte
Bildkommunikationssystem erhebliche Nachteile auf.
In einem solchen Fall wird der „neue" interessierende Bildbereich nämlich vollständig neu codiert und übertragen.
Somit liegt der Erfindung das Problem zugrunde, die Flexibilität und damit verbunden insgesamt das benötigte
Datenvolumen insbesondere bei der sogenannten differentiellen Bildcodierung, reduziert wird.
Das Problem wird durch das Verfahren zum Bearbeiten eines digitalisierten Bildes sowie durch das
Bildkommunikationssystem mit den Merkmalen gemäß den unabhängigen Patentansprüche gelöst.
Bei einem Verfahren zum Bearbeiten eines digitalisierten Bildes weist das Bild Bildpunkte und den Bildpunkten zugeordnete Codierungsinformation auf. Das Bild wird mit einer allgemeinen Bildbeschreibung mit vorgegebenen Bildbeschreibungsparametern beschrieben. Die Bildbeschreibungsparameter enthalten Informationen über Bildbereiche, in die die Bildpunkte und die
Codierungsinformationen gruppiert sind. Weiterhin sind Informationen über die Auflösung der jeweiligen Bildbereiche im Ortsbereich und/oder über die Auflösung der jeweiligen Bildbereiche im Frequenzbereich enthalten, die dem jeweiligen Bildbereich zugeordnet sind. Die Bildbeschreibungsparameter werden von einer ersten Vorrichtung, von der das digitalisierte Bild codiert wird oder von einer zweiten Vorrichtung, von der das digitalisierte Bild angefordert wird ausgewählt.
Die Bildbeschreibungsparameter können ferner Informationen enthalten über mindestens ein dem Bild zugeordnetes Koordinatensystem und/oder über unterschiedliche dem Bild zugeordnete Bildebenen und/oder über die Auflösung des jeweiligen Bildbereichs im Frequenzbereich. Insbesondere bei einem digitalisierten Bild mit karteographischen Daten sind diese zusätzlichen Daten erforderlich, um diese Daten in dem Bild mit ausreichender Qualität darstellen zu können. Diese zusätzlichen Informationen eignen sich, wie im weiteren beschrieben wird, besonders gut zum Einsatz im Rahmen der Erfindung.
Das Bild mit der Codierungsinformation wird unter Berücksichtigung der ausgewählten Bildbeschreibungsparameter codiert.
Ein Bildkommunikationssystem zum Bearbeiten eines digitalisierten Bildes, das Bildpunkte und den Bildpunkten zugeordnete Codierungsinformation aufweist, weist eine erste Vorrichtung und eine zweite Vorrichtung auf.
Die erste Vorrichtung ist zum Codieren des digitalisierten Bildes eingerichtet und die zweite Vorrichtung ist zum Decodieren des codierten digitalisierten Bildes eingerichtet. Die zweite Vorrichtung und die erste Vorrichtung sind miteinander über eine Kommunikationsverbindung miteinander gekoppelt. Die Kommunikationsverbindung kann eine
Funkverbindung oder auch eine leitungsgebundene Verbindung sein. So kann beispielsweise die erste Vorrichtung ein Bildserver bzw. Videoserver sein und die zweite Vorrichtung kann ein Client sein, der Bilder bzw. Videodaten von dem Server anfordert. Der Server und der Client können in einem Computernetz vorgesehen sein mit einer Vielzahl von Servern und/oder Clients, die mittels des Internet-Protokolls miteinander kommunizieren können.
Das Bild wird mit einer allgemeinen Bildbeschreibung mit vorgegebenen Bildbeschreibungsparametern beschrieben, wobei die Bildbeschreibungsparameter zumindest Informationen enthalten über
• Bildbereiche des Bildes, • die Auflösung der jeweiligen Bildbereiche im Ortsbereich und/oder
• die Auflösung der jeweiligen Bildbereiche im Frequenzbereich.
Die erste Vorrichtung weist eine Codiereinheit zum Codieren der Codierungsinformation des Bildes unter Berücksichtigung der Bildbeschreibungsparameter sowie eine Sendeeinheit zum
Senden des codierten Bildes und der im Rahmen der Codierung verwendeten Bildbeschreibungsparameter auf.
Die zweite Vorrichtung weist eine Decodiereinheit zum Decodieren des von der ersten Vorrichtung empfangenen codierten Bildes und der codierten Bildbeschreibungsparameter auf sowie eine Auswahleinheit zum Auswählen weiterer Bildbeschreibungsparameter, mit denen angegeben wird, welcher Bildbereich des Bildes in welcher Auflösung zusätzlich angefordert werden soll und eine Sendeeinheit zum Senden einer Anforderungsnachricht mit den weiteren Bildbeschreibungsparametern zu der ersten Vorrichtung.
Die Bildbeschreibungsparameter können in einer Markup Language codiert sein, beispielsweise in der Hypertext Markup
Language (HTML) , in der Extensible Markup Language (XML) oder auch in der im Rahmen des Verfahrens gemäß dem MPEG-7-
Standard verwendete Markup Language. Die
Bildbeschreibungsparameter können aber auch in jeder anderen Form, beispielsweise gemäß dem ASCII-Standard codiert werden.
Die Bildbeschreibungsparameter können ferner binär codiert werden, was zu einer sehr einfachen und kopmakten Codierungsform führt.
Das codierte Bild kann gemeinsam mit den codierten ausgewählten Bildbeschreibungsparametern von einer ersten Vorrichtung zu einer zweiten Vorrichtung übertragen werden.
Das codierte digitalisierte Bild kann von der zweiten
Vorrichtung empfangen werden und das codierte Bild und die Bildbeschreibungsparameter können von der zweiten Vorrichtung decodiert werden.
Will der Benutzer der zweiten Vorrichtung beispielsweise einen Bildbereich des decodierten Bildes, das mit einer geringen Auflösung codiert war, mit einer genaueren Auflösung
betrachten, so werden der entsprechende Bildbereich und die gewünschte Auflösung, allgemein die gewünschten Bildbeschreibungsparameter, von der zweiten Vorrichtung bzw. von deren Benutzer, ausgewählt. Mit den ausgewählten Bildbeschreibungsparametern wird angegeben, welcher Bildbereich des Bildes in welcher Auflösung zusätzlich angefordert werden soll. Von der zweiten Vorrichtung wird eine Anforderungsnachricht mit den weiteren Bildbeschreibungsparametern gebildet und an die erste Vorrichtung übertragen.
Von der ersten Vorrichtung wird anhand der weiteren Bildbeschreibungsparameter Zusatz-CodierungsInformation gebildet und an die erste Vorrichtung übertragen wird.
Die Zusatz-Codierungsinformation ist verglichen mit der in dem „ersten" codierten Bild codierten Codierungsinformation zusätzliche Codierungsinformation, um beispielsweise einen Bildbereich, der in dem ersten codierten Bild nur mit einer geringen Auflösung codiert worden ist, in der zusätzlichen
Codierungsinformation nunmehr mit einer größeren Auflösung zu codieren.
Anschaulich ist die Erfindung darin zu sehen, dass durch eine allgemeine Beschreibung eines digitalisierten Bildes einzelne Bildbeschreibungsparameter eindeutig und flexibel ausgewählt werden können, wodurch eine flexible Anforderung von Codierungsinformation insbesondere bei der differentiellen Bildcodierung möglich wird. So kann vorteilhafterweise die schon in einem codierten Bild codierte und übertragene Codierungsinformation anschaulich als Basisinformation genutzt werden. Die zusätzlich angeforderte
Codierungsinformation kann eindeutig individuell angefordert werden und codiert werden.
Damit wird eine erhebliche Flexibilität im Rahmen der Bildcodierung mit einer großen Einsparung benötigter Bandbreite zum Übertragen der Codierungsinformation erreicht.
Ein Ausführungsbeispiel der Erfindung ist in den Figuren dargestellt und wird im weiteren näher erläutert.
Es zeigen
Figur 1 ein Blockdiagramm, in dem ein Ausführungsbeispiel der Erfindung dargestellt ist;
Figur 2 ein Blockdiagramm, in dem eine Vorgehensweise gemäß dem Stand der Technik dargestellt ist; und
Figur 3 ein Blockdiagramm, in dem ein
Videokommunikationssystem gemäß einem Ausführungsbeispiel der Erfindung dargestellt ist;
Figur 4 eine Skizze eines Bildes, anhand der das
Ausführungsbeispiel der Erfindung erläutert wird.
Fig.3 zeigt ein Videokommunikationssystem 300 mit einem Videoserver 301 und einer Vielzahl von Computer-Clients 303, die über ein Kommunikationsnetz 302, miteinander verbunden sind.
Die Computer, das heißt der Videoserver 301 und Computer- Clients 303 kommunizieren miteinander mittels des Internet- Protokolls.
In einer Datenbank (nicht dargestellt) des Videoservers 301 sind digitalisierte Bilder und/oder eine zeitliche Folge digitalisierter Bilder (Videobilder) gespeichert.
Jedes Bild wird mittels einer allgemeinen Bildbeschreibung beschrieben. Die allgemeine Bildbeschreibung weist Bildbeschreibungsparameter auf.
Mit einem ersten Bildbeschreibungsparameter <RegionDS> wird ein Bildbereich eindeutig identifiziert.
Mit einem zweiten Bildbeschreibungsparameter wird die Form des jeweiligen Bildbereichs beschrieben. Der Bildbereich kann beispielsweise kreisförmig (<DSTypeRef type="CircleV>) , rechteckig (<DSTypeRef type=*RectV>) , vieleckig (<DSTypeRef type=*PolygonV>) .
Zu den verschiedenen Bildbereichstypen können weitere Charakteristika definierbar gewählt werden, um den entsprechenden Bildbereich detaillierter beschreiben zu können.
So ist gemäß diesem Ausführungsbeispiel für einen Bildbereich mit karteographischen Daten vorgesehen, dass beschrieben werden kann, welche Bildebene (<DSTypeRef name="Level" minOccurs=1Λ0" maxOccurs="*V>) der entsprechende Bildbereich beschreibt. Weiterhin wird mit einem weiteren Bildbeschreibungsparameter für diesen Bildbereich beschrieben, an welcher Position innerhalb des Bildes (x-
Koordinate und y-Koordinate, Angabe der Bildebene, das heißt Tiefe innerhalb des Bildes) der linke obere Rand des Bildbereichs liegt (<DSTypeRef type^Coordinates" minOccurs="0" maxOccurs="*ΛV>) . Mit einem weiteren Bildbeschreibungsparameter (<DSTypeRef name="Resolution" minOccurs="0V>) wird die örtliche Auflösung und/oder die spektrale Auflösung wählbar. Die Auflösung kann dadurch näher spezifiziert werden, dass die einzusetzende Filterfunktion, die von dem Videoserver 301 auf die Codierungsinformation angewendet werden soll, und eine optionale Signalfortsetzung (Padding) auswählbar ist. Es können sowohl die Art der
Filterfunktion als auch die im Rahmen der Filterung zu verwendenden Filterparameter bestimmt werden.
Es ist darauf hinzuweisen, dass das Prinzip der Bildbeschreibungsparameter nicht auf die oben beschriebenen Parameter beschränkt ist. Es ist vielmehr die Möglichkeit zu betonen, dass erfindungsgemäß ein Bild in seiner Gesamtheit individuell beschrieben werden kann. So kann beispielsweise je nach Anwendung eine beliebig vorgebbare Filterfunktion mit frei vorgebbaren Filterparametern vorgesehen sein oder auch eine vorgegebenen Typ eines zu verwendenden Koordinatensystems zur Beschreibung des Bildes, z.B. ein im Rahmen des Global Positioning Systems (GPS) verwendetes Koordinatensystem oder ein Polarkoordinatensystem. Das Prinzip ist sehr flexibel und beliebig an die entsprechende Anwendung anpassbar und erweiterbar.
Von einem Computer-Client 303 wird eine erste Anforderungsnachricht 101 an den Videoserver 301 gesendet.
In der ersten Anforderungsnachricht 101 ist bzw. sind mittels konkreter Werte der Bildbeschreibungsparameter ein Bild oder mehrere Bilder angefordert mit der Angabe, welche Bildbereiche in welcher örtlichen und/oder zeitlichen Auflösung der Computer-Client 303 von dem Videoserver 301 wünscht .
Nach Empfang der ersten Anforderungsnachricht 101 in dem Videoserver 301 wird von diesem das gewünschte Bild aus der Datenbank ausgelesen und gemäß den
Bildbeschreibungsparametern aus der ersten Anforderungsnachricht 101 werden die dort angegebenen Bildbereiche entsprechend einer Bildcodierung mit entsprechender Filterung, evtl. mit Padding-Option, unterzogen.
Als Bildcodierungsverfahren können blockbasierte und/oder objektbasierte und/oder waveletbasierte
Bildcodierungsverfahren sowohl zum Codieren einzelner Bilder (z.B. das Verfahren gemäß dem Standard JPEG oder JPEG 2000) als auch zum Codieren einer Folge von Bildern (z.B. das Verfahren gemäß einem der Standards MPEG1, MPEG2, MPEG4, H.261, H.263, H.263+, H.263L) eingesetzt werden.
Ferner werden die zur Codierung verwendeten Bildbeschreibungsparameter gemäß dem Format der Extensible Markup Language (XML) codiert, wodurch codierte Bildbeschreibungsparameter gebildet werden.
Das codierte Bild sowie die codierten Bildbeschreibungsparameter werden in einer ersten
Bildnachricht 102 von der Sendeeinheit des Videoservers 301 an den Computer-Client 303 übertragen.
Gemäß dem Ausführungsbeispiel wird angenommen, dass ein erster Bildbereich 401 eines Bildes 400 mit einer hohen
Auflösung codiert worden ist und weitere Bildbereiche 402, 403, 404 nur mit geringer Auflösung codiert worden sind (vgl. Fig.4) .
Das codierte Bild wird in dem Computer-Client 303 decodiert und einem Benutzer des Computer-Clients 303 dargestellt.
Wird nun von dem Benutzer des Computer-Clients 303 ein zweiter Bildbereich 402 ausgewählt, den er in genauerer Auflösung sehen möchte, so werden von dem Computer-Client 303 die entsprechenden Bildbeschreibungsparameter ausgewählt derart, dass durch die ausgewählten
Bildbeschreibungsparameter lediglich die von dem Computer- Client 303 noch benötigte Zusatzinformation beschrieben werden.
Die ausgewählten Bildbeschreibungsparameter enthalten somit eine gewünschte Auflösung des zweiten Bildbereichs 402.
Es wird in einem weiteren Schritt von dem Computer-Client 303 eine zweite Anforderungsnachricht 103 gebildet und von dessen Sendeeinheit an den Videoserver 301 übertragen.
Nach Empfang der zweiten Anforderungsnachricht 103 von dem Videoserver 301 wird diese decodiert und die weiteren Bildbeschreibungsparameter werden ermittelt.
Gemäß den ermittelten Bildbeschreibungsparametern wird das gewünschte Bild aus der Datenbank ausgelesen und der angeforderte zweite Bildbereich wird codiert. Die auf diese Weise gebildete Zusatz-Bildinformation wird in einer zweiten Bildnachricht 104 von der Sendeeinheit des Videoservers 301 an den Computer-Client 303 übertragen.
Nach Empfang der zweiten Bildnachricht 104 wird diese von dem Computer-Client 303 decodiert und der zweite Bildbereich 402 wird mittels der Zusatz-Bildinformation und der zuvor decodierten Bildinformation des zweiten Bildbereichs 402 mit der nunmehr höheren Auflösung rekonstruiert und dem Benutzer des Computer-Clients 303 dargestellt.
Somit muss lediglich die Zusatz-Bildinformation von dem Videoserver 301 an den Computer-Client 303 übertragen werden.
Im weiteren ist eine programmiersprachenähnliche Darstellung einer Bildbeschreibung gemäß einem Ausführungsbeispiel angegeben, wobei eine Syntax gemäß der Markup Language MPEG-7 Description Definition Language Working Draft 1.0 definiert ist:
<RegionDS>
<Choice>
<DSTypeRef type=" CircleV>
<DSTypeRef type="Rect"/> <DSTypeRef type="Polygon" /> </Choice>
<DSTypeRef type="SFVRegion"/> </RegionDS>
<DSType name="SFVRegion" /> <Seq axOccurs="*">
<DSTypeRef name="Level" minOccurs= 0" maxOccurs="*"/>
<DSTypeRef type="Coordinates" minOccurs=" 0" maxOccurs=" *" />
<DSTypeRef name="Resolution" minOccurs="0"/>) </Seq> </DSType>
<DSType name="Coordinates">
<attribute name="Name" datatype="string"/> <attribute name="DataSet" datatype="URI" required=" false"/>
<seq maxOccurs="*">
<DtypeRef name="pixPoint" type="VectorI" />
<DtypeRef name="coordPoint" type="VectorR"/>
</seq> <DtypeRef type="interpolationFunct" maxOccurs="*"/> </DSType>
<Dtype name-'Resolution">
DtypeRef name=" IDfilterFunction" type=" IDfunction" maxOccurs="*"/> </DType>
<Dtype name=" lDFunction" >
<attribute name="Padding" datatype="padding" default="cont" required=" false" />
<DtypeRef name="Function" type="VectorR"/> </DType>
<Dtype name=" interpolationFunct" >
<DtypeRef name=" scalarFunction" type^" scalarFunction maxOccurs-' *" /> </DType>
<Dtype name=" scalarFunction" datatype="string"> <attribute> name=" FnctFormat" datatype=" FnctType" </attribute> </DType>