Titel
Verfahren zur Erzeugung räumlich darstellbarer Bilder und Anordnung zur räumlich wahrnehmbaren Darstellung solcher Bilder.
Gebiet der Erfindung
Die Erfindung bezieht sich auf ein Verfahren zur Erzeugung räumlich darstellbarer Bilder und eine Anordnung zur räumlich wahrnehmbaren Darstellung solcher Bilder.
Stand der Technik
Im Stand der Technik sind zahlreiche Verfahren zur Erzeugung zweidimensionaler Bilder aus Eingangsbildsignalen bekannt. Dazu zählen beispielsweise digitale und analoge TV-Übertragung, das Auslesen aus einer CD, Video-CD oder DVD mit allen entsprechenden Unterformaten. Drahtlos oder über Kabel empfangene Bildsignale sind häufig noch verschlüsselt, so daß entsprechende Decoder, die meist in Form von Set-Top-Boxen ausgeführt sind, hinzukommen, die die Signale verarbeiten, d.h. dechiffrieren und ein entsprechend darstellbares Bild erzeugen.
Andererseits sind im Stand der Technik auch Verfahren und Anordnungen zur räum- liehen Darstellung bekannt, wie beispielsweise in der US 5,936,774, in EP 0791 847, EP 0783825, JP 8-194190 sowie DE 100 03 326 C2 beschrieben. Die räumliche Dar¬ stellung von Bildern gewinnt zunehmend an Bedeutung. Während jedoch beispiels¬ weise höherwertige Fernseher schon zwischen verschiedenen zweidimensionalen Bildtypen, wie PAL- und NTSC-Modus unterscheiden können, gibt es solche Möglich- keiten für die Darstellung dreidimensionaler Bilder noch nicht.
Zur dreidimensional wahrnehmbaren Darstellung existieren darüber hinaus ver¬ schiedenartige Anordnungen. In der jüngsten Vergangenheit finden autostereosko- pische Systeme, insbesondere auf Basis der Darstellung von mindestens zwei Per¬ spektivansichten, immer weitere Verbreitung.
Während mit solchen Systemen durchaus ansprechende räumliche Eindrücke beim Betrachter bzw. bei den Betrachtern erzielt werden können, stehen mithin bei wei¬ tem nicht so viele geeignete 3D-Bildinhalte zur Verfügung, wie dies wünschenswert ist.
Beschreibung der Erfindung
Aufgabe der Erfindung ist es daher, Verfahren und Anordnungen bereitzustellen, welche es ermöglichen, verschiedene Typen von räumlich darstellbaren Bildern auf einem entsprechenden Bildwiedergabegerät automatisch ohne Eingriff eines Nutzers darzustellen, sowie dafür zu sorgen, daß dabei eine möglichst große Kompatibilität der räumlichen Bildinhalte zu den verschiedenen möglichen Bildwiedergabegeräten erreicht wird.
Diese Aufgabe wird bei einem Verfahren der eingangs beschriebenen Art dadurch gelöst, daß Eingangsbildsignale und Bildtypinformationen registriert werden, für die Eingangsbildsignale in Abhängigkeit von den Bildtypinformationen ein Bildtyp be¬ stimmt wird, in Abhängigkeit vom Bildtyp ein entsprechender Verarbeitungsalgo¬ rithmus ausgewählt wird, die Bildsignale durch die Verarbeitungsalgorithmen verar¬ beitet werden und Ausgangsbildsignale erzeugt werden, welche auf einem entspre- chenden Bildwiedergabegerät für einen Betrachter als räumliches Bild oder als eine Folge von räumlichen Bildern dargestellt werden können.
Bevorzugt werden digitale Ein- und Ausgangsbildsignale verwendet, selbstverständ¬ lich können aber auch analoge Ein- und Ausgangsbildsignale verwendet werden. Die Eingangsbildsignale sowie die Bildtypinformationen werden bevorzugt von einem Datenträger gelesen bzw. drahtlos oder über Kabel empfangen. Bei einem drahtlo¬ sen Empfang oder einem Empfang über Kabel lassen sich zweckmäßigerweise alle möglichen Sendeprotokolle verwenden, insbesondere auch Digital Video Broadcast Satellite / Channel / Terrestric (DVBS, DVBC, DVBT), mit der digitale Fernsehpro- gramme ausgestrahlt werden. Dabei kann insbesondere ein digitales Fernsehsignal noch zusätzlich kodiert übertragen werden, wie mit dem MPEG-2- oder MPEG-4- Standard. Für den Fall, daß die Eingangsbildsignale sowie die Bildtypinformationen
von einem Datenträger gelesen werden, kommen bevorzugt DVDs, HD-DVDs und/oder BlueRay-Datenträger in Frage.
Alle notwendigen Bauelemente lassen sich beispielsweise in einer Set-Top-Box für Fernseher mit der Fähigkeit zur räumlichen Wiedergabe, oder beispielsweise auch auf speziellen PC-Karten bzw. im Bildschirm selbst realisieren. Werden die Bildtypin¬ formationen nicht schon mit den Eingangsbildsignalen vom gleichen Medium über¬ mittelt, so ist es vorteilhaft eine Möglichkeit vorzusehen, durch die der Betrachter die Bildtypinformation vorgibt. Die Bildtypinformationen enthalten Angaben dar- über, welcher Art die dreidimensionalen Bilder sind und ggf. in welchem Kompres¬ sionsformat sie gesendet werden. In einer vorteilhaften Ausgestaltung des Verfah¬ rens bleiben einmal gelesene, empfangene oder vorgegebene Bildtypinformationen für alle im folgenden gelesene oder empfangene Eingangsbildsignale solange gültig, bis neue Bildtypinformationen gelesen, empfangen oder vorgegeben werden. Dies ist beispielsweise von Vorteil, wenn eine Sequenz von räumlichen Bildern, wie bei¬ spielsweise bei einem Film, gesendet wird. Auf diese Weise müssen nur am Anfang Informationen über das Bildformat, die Kompression und die Art der Zusammenset¬ zung der 3D-Bilder gesendet werden. Optional kann auch am Ende einer solchen Übertragung eine Standardbildtypinformation gesendet werden, die das Gerät und/oder den Femseher in den Ursprungszustand zurücksetzt, der beispielsweise eine 2 D-Übertragung und -darstellung beinhaltet.
Die Bestimmung des Verarbeitungsalgorithmus und die entsprechende Verarbeitung der Bildsignale sowie Erzeugung von Ausgangsbildsignalen hängt daher von den registrierten Bildtypinformationen ab.
Bei einem ersten Bildtyp beispielsweise werden als Eingangsbildsignale Bildinforma¬ tionen für zweidimensionale Bilder einer Szene oder eines Gegenstandes empfangen oder gelesen, denen Tiefeninformationen zugeordnet sind, die ebenfalls empfangen oder gelesen werden. Der zugeordnete Verarbeitungsalgorithmus erzeugt aus die¬ sen Bildern und den Tiefeninformationen Ansichten der Szene bzw. des Gegenstan¬ des aus verschiedenen Blickwinkeln oder mit verschiedenen räumlichen Tiefen. Bei diesem ersten Bildtyp können auch weitere Variationen zum Einsatz kommen, etwa Bildinformationen für zwei zweidimensionale Bilder einer Szene oder eines Gegen- Standes (z.B: Stereobildpaare) sowie zugeordnete Tiefeninformationen bzw. jeweils zwei verschiedene Tiefeninformationen (z.B. für jedes der zweidimensionalen Bilder eine Tiefenkarte).
Bei einem zweiten Bildtyp werden als Eingangsbildsignale Bildinformationen für Schichtbilder einer Szene oder eines Gegenstandes bei verschiedener Tiefe empfan¬ gen oder gelesen. Jedem Schichtbild ist eine bestimmte Tiefe zugeordnet und es enthält nur Informationen, die auch bei dieser Tiefe im Bild vorliegen. Mit dem die¬ sem zweiten Bildtyp zugeordneten Verarbeitungsalgorithmus werden wiederum An¬ sichten der Szene oder des Gegenstandes aus verschiedenen Blickwinkeln oder mit verschiedenen räumlichen Tiefen erstellt.
Bei einem dritten Bildtyp werden als Eingangsbildsignale Bildinformationen direkt für N Ansichten einer Szene oder eines Objektes aus verschiedenen Blickwinkeln gelesen oder empfangen. N ist dabei eine natürliche Zahl größer oder gleich zwei. Dieses Verfahren ist besonders dann günstig zu verwenden, wenn zwei beispiels¬ weise stereoskopische Ansichten gesendet werden, aus diesen Ansichten dann mehr als zwei, beispielsweise vier oder acht Ansichten erstellt werden.
Für jeden der drei Bildtypen stehen am Ende der Verarbeitung daher mehrere, min¬ destens jedoch zwei Ansichten derselben Szene oder desselben Gegenstandes zur Verfügung. Für einen normalen zweidimensionalen Film käme also für jedes Bild, bzw. für jeden Frame mindestens ein weiteres Bild bzw. ein weiterer Frame hinzu. Diese werden als Ausgangsbildsignale einem Bildwiedergabegerät zugeführt. Zweckmäßigerweise werden die Ausgangsbildsignale dabei in Abhängigkeit vom angeschlossenen Bildwiedergabegerät erzeugt. Handelt es sich bei dem angeschlos¬ senen Bildwiedergabegerät beispielsweise um einen mit einem Filterarray ausgestat¬ teten Flachbildschirm, wie z.B. in der DE 201 21 318 U, oder der PCT/EP2004/001833 beschrieben, so wird zweckmäßigerweise aus den Ansichten, die jeweils dieselbe Szene oder denselben Gegenstand darstellen, ein Kombinati¬ onsbild erzeugt, welches Informationen aller Ansichten in vorgegebener Weise ent¬ hält. Dieses Kombinationsbild wird dann als Ausgangsbildsignal ausgegeben. Han¬ delt es sich bei den Bildwiedergabegeräten um ein solches ohne Filterarray, aber mit optischen Mitteln zur zeitlich sequentiellen Darbietung der Ansichten in verschiede¬ ne Richtungen, wobei das Bildwiedergabegerät aber eine hohe Bildwiederholfre¬ quenz aufweist, so werden zweckmäßigerweise die Ansichten, die jeweils dieselbe Szene oder denselben Gegenstand darstellen, als Ausgangsbildsignal ausgegeben und in zeitlich kurzer Abfolge nacheinander auf dem Bildwiedergabegerät darge- stellt. Diese Darstellung der Ansichten nacheinander soll dabei selbstverständlich mit einer höheren Frequenz als der Auflösungsfähigkeit des Auges erfolgen. Auch
die Zeit, die .für ein solches Gesamtbild aus mehreren Ansichten verwendet wird, sollte kürzer als diese Auflösungsfähigkeit sein.
Denkbar ist natürlich auch ein vierter Bildtyp, bei dem als Eingangsbildsignale BiId- informationen für zweidimensionale Bilder empfangen oder gelesen werden. Diese werden dann bevorzugt unverändert als Ausgangssignale ausgegeben. Falls es sich bei dem angeschlossenen Bildwiedergabegerät um ein solches mit einer Umschal- tυng für zweidimensionales und dreidimensionales Betrachten handelt, kann ein entsprechendes Steuersignal ebenfalls mit ausgegeben werden, um in Abhängigkeit vom Bildtyp das Bildwiedergabegerät entsprechend einzustellen.
Die Aufgabe wird auch gelöst durch eine Anordnung zur räumlich wahrnehmbaren Darstellung, welche mindestens einen Dateneingang zur Eingabe von Eingangssi¬ gnalen, einen elektronischen Konvertierschaltkreis zur Konvertierung der Eingangs- Signale in Ausgangssignale, eine Bildwiedergabeeinrichtung mit einer Vielzahl von Bildelementen αy zur Wiedergabe der Ausgangssignale, und eine Strukturplatte zur Vorgabe von Lichtausbreitungsrichtungen für das von den Bildelementen α abge¬ strahlte Licht aufweist, so daß ein oder mehrere Betrachter von einer Vielzahl von Betrachtungspositionen aus ein räumliches Bild oder eine Folge räumlicher Bilder wahrnimmt.
Zentrales Element dieser Anordnung ist der elektronische Konvertierschaltkreis, der beispielsweise für die genannten vier Bildtypen jeweils die oben beschriebene Um¬ wandlung von Eingangs- in Ausgangssignale vornimmt. Auf der Bildwiedergabeein- richtung werden die Ausgangssignale dargestellt - beispielsweise als Kombinations¬ bild. Damit ein Betrachter auch ein räumliches Bild bzw. eine Sequenz von räumli¬ chen Bildern wahrnehmen kann, muß in der Regel vor der Bildwiedergabeeinrich¬ tung noch eine Strukturplatte zur Vorgabe von Lichtausbreitungsrichtungen ange¬ ordnet sein.
In einer bevorzugten Ausgestaltung der Anordnung enthalten die Eingangssignale einen Eingangsdatensatz aus mindestens zwei Ansichten A£ mit c=l ..M, M>2 der Szene oder des Gegenstandes. Der Konvertierschaltkreis ist dann so ausgelegt, daß er den Eingangsdatensatz in einen Ausgangsdatensatz bestehend aus mindestens zwei Ansichten Ok mit k=1 ..N und N > 2 konvertiert, wobei sich Eingangs- und Aus¬ gangsdatensatz in mindestens einem der Parameter Bildgröße, Parallaxe zwischen den Ansichten, Auflösung, Datenformat und/oder Gesamtzahl der Ansichten N, M
unterscheiden. Die Ausgangssignale entsprechen dem Ausgangsdatensatz bzw. enthalten diesen. Dabei wird eine Zuordnung von Informationen, die in den Aus¬ gangssignalen - d.h. den mindestens zwei Ansichten Ok mit k=l ,,..,N und N > 2 - enthalten sind, zu den .Bildelementen α„ vorgegeben. Außerdem werden die Licht- ausbreitungsrichtungen mittels der Strukturplatte so vorgegeben, daß der oder die Betrachter jeweils mit einem Auge überwiegend oder ausschließlich Teilinformatio¬ nen einer ersten Gruppe aus den Ansichten Ok mit k=l ..N, N>2 und mit dem ande¬ ren Auge überwiegend oder ausschließlich Teilinformationen einer zweiten Gruppe aus den Ansichten Ok mit k=1 ..N, N>2 sehen.
Als Ansichten Ac dienen z.B. verschiedene Perspektivansichten einer Szene oder eines Gegenstandes, die von leicht versetzten Positionen aus aufgenommen worden sind, beispielsweise unter Zuhilfenahme einer Stereokamera oder ähnlichem Gerät.
Die Strukturplatte zur Vorgabe von . Lichtausbreitungsrichtungen kann gegebenenfalls auxh durch ein zeitlich veränderliches optisches Element, etwa einen Shutter, ersetzt werden, um auf zeitlich- oder zeitlich/räumlich-veränderlicher Basis der optischen Eigenschaften der Strukturplatte einen räumlichen Eindruck zu erzielen. Ferner kann die besagte Strukturplatte auch durch im Stand der Technik bekannte Mittel zur räumlichen Darstellung auf der Basis von Brillensystemen ersetzt werden.
Wegen der Vorteile brillenloser, d.h. autostereoskopischer Systeme wird im folgenden insbesondere auf die Ausprägungen derartiger Anordnungen eingegangen. Die Strukturplatte zur Vorgabe von Lichtausbreitungsrichtungen kann dazu mindestens ein Filterarray, einen Barriereschirm oder ein Linsenraster umfassen, wie es im Stand der Technik z.B. aus der WO 01 /56265 bekannt ist.
Ferner kann die Strukturplatte vorteilhaft so ausgebildet werden, daß die erste und die zweite Gruppe von - wahrgenommenen - Ansichten jeweils eine oder mehrere der Ansichten O. k mit k=l .. N, N > 2 umfassen.
Der Konvertierschaltkreis ist beispielsweise derart ausgebildet, daß N=M gilt und daß sich die beiden Datensätze aus Ansichten Ac und Ok mindestens in der Parallaxe zwischen den jeweiligen Ansichten unterscheiden.
Es ist aber auch möglich, daß M<N - oder auch M>N für spezielle Anwendungen - gilt. Sehr vorteilhaft ist die Ausprägung der erfindungsgemäßen Anordnung, wenn M=2 und M<N gilt. Dann nämlich können weit verbreitete Stereobilddaten - beste¬ hend aus Links-Rechts-Bildpaaren, d.h. genau M=2 Ansichten - als Eingangsdaten für die räumlich wahrnehmbare Darstellung auf Basis von mehr als zwei Ansichten verwendet werden. Vorteilhaft wird im Falle M=2 das Datenformat des Datensatzes bestehend aus mindestens zwei Ansichten Ac aus der Gruppe bestehend aus räum¬ lich multiplexten Datenformaten (Over-Under-Stereo, Left-Right-Stereo oder Interla- ced-Stereo), zeitlich multiplexten Datenformaten oder mehreren Ansichten in ver- schiedenen Datenströmen gewählt; diese Formate sind für Stereobilddaten weit ver¬ breitet. Die vorgenannten Datenformate sind z.T. auch bei M>2 einsetzbar. In allen Fällen können als Standards beispielsweise die MPEG-I 1 MPEG-2 oder MPEG-4- Standards eingesetzt werden.
Weiterhin kann der Konvertierschaltkreis verschiedene im Stand der Technik be¬ kannte Techniken zur Umwandlung in der gewünschten Art und Weise umfassen, etwa Mittel zur Disparitätsabschätzung zwischen Stereobildpaaren, um auf Basis der Disparität aus den ursprünglichen Ansichten Ac die Ansichten Ok zu generieren. Hierzu kommt u.a. auch die Lehre der EP 918 302 in Frage.
Als Bildwiedergabeeinrichtung mit einer Vielzahl von Bildelementen Ot1 kommt z.B. ein LC-Display, ein Plasmabildschirm, ein OLED, ein Projektionsbildschirm (DMD/DLP, LCOS oder LCD-basiert), ein laserbasiertes Display oder ein Elektrolumi- neszenzdisplay in Frage, wobei bevorzugt die Bildelemente α den Farbsubpixeln R, G, B entsprechen, sofern diese vorhanden sind. Andere Ausgestaltungen, insbeson¬ dere autostereoskopischer Natur, sind denkbar.
Vorzugsweise wird der elektronische Konvertierschaltkreis als FPGA oder als ASIC ausgebildet. Insbesondere eine ASIC-U msetzung erlaubt eine kostengünstige Mas- senfertigung.
Vorteilhaft sind bei der erfindungsgemäßen Anordnung weiterhin Mittel zur Interak¬ tion mit dem elektronischen Konvertierschaltkreis vorhanden, auf Basis derer min¬ destens einer der Parameter Bildgröße, Parallaxe zwischen den Ansichten, Auflö- sung, Datenformat und/oder Gesamtzahl N, M der Ansichten in den Datensätzen Ok, Ac interaktiv wählbar ist. Außerdem kann eine Option gewählt werden, bei welcher permanent zweidimensionale Ausgangsbildsignale ausgegeben werden, unabhängig
davon, ob räumlich wiedergebbare Bildtypen als Eingangsbildsignale vorliegen. Dies würde im einfachsten Fall so realisiert, daß alle auszugebenden Ansichten Ok iden¬ tisch sind. Der Konvertierschaltkreis kann auch so ausgebildet sein, daß er das Ein¬ gangsdatenformat automatisch erkennt. Die Mittel zur Interaktion können bei- spielsweise in ein OSD-Menü, welches auf dem Bildschirm dargestellt wird, integriert oder aber als Stellrädchen ausgebildet sein.
Bevorzugt ist die Anordnung so ausgelegt, daß nacheinander eine Vielzahl von Da¬ tensätzen bestehend aus mindestens zwei Ansichten Ac in Datensätze bestehend aus mindestens zwei Ansichten Ok konvertiert wird. Besonders vorteilhaft ist es, wenn pro Sekunde wenigstens 20 Datensätze bestehend aus mindestens zwei An¬ sichten Ac in Datensätze bestehend aus mindestens zwei Ansichten Ok konvertiert werden, so daß auf der Bildwiedergabeeinrichtung mit der Vielzahl von Bildelemen¬ ten α eine Bildsequenz wiedergegeben wird.
Zu einer massenmarkttauglichen Umsetzung der Erfindung ist es ferner vorteilhaft, wenn der Dateneingang, der zur Eingabe eines Datensatzes bestehend aus minde¬ stens zwei Ansichten Ac mit c=l ..M, M>2 einer Szene/eines Gegenstandes dient, kompatibel mit einem digitalen und/oder analogen Satelliten-, Kabel-, und/oder Antennensignal ist. Dann nämlich können über übliche Übertragungskanäle Stereo¬ bilddaten versandt werden, die auf erfindungsgemäßen Anordnungen dreidimensio¬ nal wahrnehmbar darstellbar sind.
Eine besonders vorteilhafte Ausgestaltung der Erfindung ergibt sich, wenn der elek- tronische Konvertierschaltkreis Mittel zur Kombination der jeweiligen mindestens zwei Ansichten Ok in jeweils ein einziges Kombinationsbild enthält. Damit werden die erzeugten Ansichten Ok in ein für bekannte Anordnungen zur dreidimensional wahrnehmbaren Darstellung unmittelbar anzeigefähiges Bildformat konvertiert. Bei¬ spiele für mögliche Bildkombinationen zur Verwendung mit Filterarrays für die räumliche Darstellung sind unter anderem in den Schriften DE 100 03 326, der DE 201 21 31 8 Ul , PCT/EP2004/004464, PCT/EP2004/001 833, PCT/EP03/07620 und der DE 1 01 45 1 33 angegeben.
Für spezielle Anwendungsfälle, etwa für die Darstellung gleichzeitig zweier ver- schiedener Bildinhalte, kann es sinnvoll sein, daß in der Anordnung weiterhin Mittel zur voll- oder teilflächigen Umschaltung zwischen einer hilfsmittelfrei dreidimensio-
nal wahrnehmbaren und einer vollauflösenden zweidimensionalen Darstellung einer Szene/eines Gegenstandes vorhanden sind.
Während in der oben beschriebenen Anordnung der Konvertierschaltkreis als EIe- ment oder Baugruppe in einer Anordnung zur räumlichen Darstellung ausgelegt ist, ist es selbstverständlich auch möglich, diesen in ein externes Gerät zu integrieren, welches einem Bildwiedergabegerät vorgeschaltet werden kann. Ein solches Gerät kann dann flexibel - beispielsweise per Menüsteuerung - an verschiedene Bild¬ schirmtypen bzw. Anordnungen zur räumlichen Darstellung angepaßt werden und weist ansonsten die gleiche Funktionalität wie der Konvertierschaltkreis auf. Ein solches Konvertiergerät umfaßt mindestens einen Dateneingang zur Eingabe von Eingangssignalen, einen elektronischen Konvertierschaltkreis zur Konvertierung der Eingangssignale in Ausgangssignale, die auf einem entsprechenden Bildwiederga¬ begerät für einen Betrachter als räumliches Bild oder als eine Folge räumlicher Bilder dargestellt werden können, sowie einen Datenausgang zur Ausgabe der Ausgangs¬ signale an eine Anordnung zur räumlich wahrnehmbaren Darstellung einer Szene oder eines Gegenstandes.
Soll ein solches Konvertiergerät in Verbindung mit einer Anordnung zur räumlich wahrnehmbaren Darstellung einer Szene/eines Gegenstandes genutzt werden, auf welcher Bildinformationen mindestens zweier Ansichten Ok mit k=l ..N, N>2 darzu¬ stellen sind, so müssen die Eingangssignale mindestens einen Eingangsdatensatz aus mindestens zwei Ansichten Ac mit c=l ..M, M>2 der Szene oder des Gegenstan¬ des enthalten. Bei einem solchen Konvertiergerät ist der Konvertierschaltkreis zweckmäßig so ausgelegt, daß er den Eingangsdatensatz in einen Ausgangsdaten¬ satz bestehend aus mindestens zwei Ansichten Ok mit k=l ..N, N>2 konvertiert, wo¬ bei sich Eingangs- und Ausgangsdatensatz in mindestens einem der Parameter Bild¬ größe, Parallaxe zwischen den Ansichten, Auflösung, Datenformat und/oder Ge¬ samtzahl der Ansichten N1 M unterscheiden, wobei die Ausgangssignale dem Aus- gangsdatensatz entsprechen.
Das elektronische Konvertiergerät wird beispielsweise derart ausgebildet, daß N=M gilt und daß sich die beiden Datensätze aus Ansichten Ac und Ok mindestens in der Parallaxe zwischen den jeweiligen Ansichten unterscheiden.
Es ist aber auch möglich, daß M<N - oder auch M>N für spezielle Anwendungen - gilt. Sehr vorteilhaft ist die Ausprägung der erfindungsgemäßen Anordnung, wenn
M=2 und M<N gilt. Dann nämlich können weit verbreitete Stereobilddaten - beste¬ hend aus Links-Rechts-Bildpaaren, d.h. genau M=2 Ansichten - als Eingangsdaten für die dreidimensional wahrnehmbare Darstellung auf Basis von mehr als zwei An¬ sichten verwendet werden. Vorteilhaft wird im Falle M=2 das Datenformat des Da- tensatzes bestehend aus mindestens zwei Ansichten Ac aus der Gruppe bestehend aus räumlich multiplexten Datenformaten (Over-Under-Stereo, Left-Right-Stereo oder Interlaced-Stereo), zeitlich multiplexten Datenformaten oder mehreren Ansichten in verschiedenen Datenströmen gewählt; diese Formate sind für Stereobilddaten weit verbreitet. Die vorgenannten Datenformate sind z.T. auch bei M>2 einsetzbar. In allen Fällen können als Standards beispielsweise die MPEG-I , MPEG-2 oder MPEG-4- Standards eingesetzt werden.
Der elektronische Konvertierschaltkreis des Konvertiergerätes kann weiterhin als FPGA oder als ASIC ausgebildet sein. Ferner sind vorteilhaft in dem Konvertiergerät auch noch Mittel zur Interaktion mit dem elektronischen Konvertierschaltkreis vor¬ handen, so daß mindestens einer der Parameter Bildgröße, Parallaxe zwischen den Ansichten, Auflösung, Datenformat und/oder Gesamtzahl N für den Datensatz be¬ stehend aus mindestens zwei Ansichten Ok interaktiv, d.h. durch den oder die Be¬ nutzer wählbar ist.
Das in Rede stehende Konvertiergerät ist so ausgelegt, daß nacheinander eine Viel¬ zahl von Datensätzen bestehend aus mindestens zwei Ansichten Ac in Datensätze bestehend aus mindestens zwei Ansichten Ok konvertiert wird. Bevorzugt werden dabei pro Sekunde wenigstens 20 Datensätze bestehend aus mindestens zwei An- sichten Ac in Datensätze bestehend aus mindestens zwei Ansichten Ok konvertiert. Somit wird die Echtzeitkonvertierung von Bewegtbildmaterial bzw. Bildsequenzen ermöglicht.
Schließlich ist es von großem Vorteil, wenn der Dateneingang des Konvertiergerätes, der zur Eingabe eines Datensatzes bestehend aus mindestens zwei Ansichten Ac mit c=l ..M, M>2 einer Szene/eines Gegenstandes dient, kompatibel mit einem digitalen und/oder analogen Satelliten-, Kabel-, und/oder Antennensignal ist.
Das Konvertiergerät bildet dabei eine Art „Set-Top-Box", welche ein durch bestehen- de digitale und/oder analoge Signalübertragungseinrichtungen gesendetes Stereo¬ bild in das benötigte Bildformat umwandelt.
Eine besonders vorteilhafte Ausgestaltung ergibt sich zudem, wenn der elektroni¬ sche Konvertierschaltkreis Mittel zur Kombination der jeweiligen mindestens zwei Ansichten Ok in jeweils ein einziges Kombinationsbild enthält. Damit werden die erzeugten Ansichten Ok in ein für bekannte Anordnungen zur dreidimensional wahrnehmbaren Darstellung unmittelbar anzeigefähiges Bildformat konvertiert. Bei¬ spiele für mögliche Bildkombinationen zur Verwendung mit Filterarrays für die räumliche Darstellung sind unter anderem in den Schriften DE 1 00 03 326, der DE 201 21 31 8 Ul , PCT/EP2004/004464, PCT/EP2004/001 833, PCT/EP03/07620 und der DE 101 45 1 33 angegeben.
Kurze Beschreibung der Zeichnungen
Die Erfindung soll im folgenden an einem Beispiel näher erläutert werden. Die zuge¬ hörigen Zeichnungen zeigen in
Fig.l ein Ablaufschema des Verfahrens, und in
Fig.2 eine zur Durchführung des Verfahrens geeignete Anordnung.
Ausführliche Beschreibung der Zeichnungen
In Fig. 1 ist der typische Ablauf für das erfindungsgemäße Verfahren dargestellt. Zunächst werden Daten auf irgendeine Weise empfangen, d.h. sie können auch ge¬ lesen werden. Empfangen werden Eingangsbildsignale und Bildtypinformationen. Bei den Eingangsbildsignalen kann es sich auch um TV-Signale handeln, diese müssen dann entsprechend der Fernsehnormen demoduliert werden, bevor der Bildtyp be¬ stimmt werden kann, da TV-Signale moduliert gesendet werden. Die Bildtypinforma¬ tionen können allerdings auch unabhängig davon gesendet werden. Entsprechend dem festgestellten Bildtyp kann nun schon eine Ansteuerung des Bildwiedergabege¬ räts im Hinblick darauf, ob zweidimensionale oder dreidimensionale Bilder darge- stellt werden sollen, vorgenommen werden. In Abhängigkeit vom Bildtyp werden die Eingangsbildsignale nun verarbeitet und es werden entsprechend mehrere Ansich¬ ten derselben Szene oder desselben Gegenstandes erzeugt. Optional kann im An¬ schluß an die Verarbeitung auch eine Speicherung der so erzeugten Daten erfolgen. In der Regel werden die Daten aber in Ausgangsbildsignale umgewandelt. Die Um- Wandlung - beispielsweise die Erstellung des Kombinationsbildes aus den N Ansich¬ ten - hängt davon ab, welches Endgerät angeschlossen ist. So können die Daten beispielsweise zur Darstellung auf verschiedene Schnittstellen wie LVDS- (Low-
Voltage-Differential-Signal), VGA- (Video Graphics Array) oder DVI-Schnittstelle (Di¬ gital Visual Interface) ausgegeben werden. Im ersten Fall handelt es sich um einen speziellen Datenbus, mit dem u.a. Video-Signale vom Grafik-Controller direkt an ein LC-Display bzw. -panel übertragen werden, was von Vorteil ist, wenn beide in einer Baueinheit zusammengefaßt sind. Von dieser Schnittstelle werden die Signale dann in der Regel an ein 3D-fähiges Display ausgegeben.
In Fig.2 ist die mögliche Realisierung des Verfahrens mittels einer Set-Top-Box 1 , die an ein für die dreidimensionale Darstellung geeignetes Liquid-Crystal-Display 2 an- geschlossen ist. Die Set-Top-Box 1 verfügt über mehrere Eingänge 3 bis 5 zum Emp¬ fang des Datenstromes. Am Eingang 3 ist im Beispiel ein digitales Empfangsmodul 6 angeschlossen, am Eingang 4 ein analoges Empfangsmodul 7. Schnittstellen können dabei beispielsweise SCART, IEEE 1 394, oder S-Video sein, um nur einige zu nennen. Auch direkte Antennenkabel oder LAN-Anschlüsse sind geeignet. Über spezielle Ausgestaltungen des IEEE-1 394-Anschlusses (fire wire) können auch Stereokameras angeschlossen werden oder Tiefeninformationen übertragen werden. Der Eingang 5 ist mit einem Datenempfangsmodul 8 gekoppelt. Neben der schon genannten IEEE- 1 394-Schnittstelle kann es sich dabei auch um einen USB-Anschluß oder andere Möglichkeiten zum Auslesen von Datenspeichern handeln, wie beispielsweise von einem CD- oder DVD-Laufwerk, Memorystick, einer Festplatte oder einem TCP/IP- Anschluß. Ein weiterer Eingang 9 ist für eine Fernbedienung bzw. Fernsteuerung vorgesehen. Neben der üblichen Senderwahl läßt sich hier beispielsweise auch die gewünschte Tiefe einstellen, sowie das OSD (On Screen Display) - die Einblendung eines Menüs zur Bildschirmkonfiguration - steuern. Alle vier Module sind sowohl mit einem Fernsehtuner 1 1 als auch einem Prozessormodul 12, dem eigentlichen Herzstück der Set-Top-Box 1 , verbunden. Im Fernsehtuner 1 1 werden die Daten, falls es sich um Fernsehsignale handelt, entsprechend moduliert, bevor sie dem Prozessormodul 1 2 zugeführt werden. Bei dem Prozessormodul kann es sich bei¬ spielsweise um ein DSP (Digital Signal Processor), FPGA (Field-Progammable Gate Array), MCU (Micro Controller Unit) oder eine GPU (Graphic Processor Unit) handeln.
Im Prozessormodul 12 wird zunächst der Bildtyp festgestellt, anschließend ein ent¬ sprechender Verarbeitungsalgorithmus ausgewählt. Dann werden die Eingangsbild¬ signale verarbeitet und Ausgangssignale erzeugt. Das Prozessormodul 12 ist bevor- zugt über eine Steuerleitung 1 3 bidirektional mit dem Liquid-Crystal-Display 2 ge¬ koppelt. Einerseits werden vom Prozessormodul 1 2 über die Steuerleitung 1 3 Steu¬ ersignale in bezug auf eine Umschaltung zwischen zweidimensionaler und dreidi-
mensionaler Arbeitsweise an das Display 2 geschickt, andererseits kann das Display 2 auch Informationen über seinen Typ, etwa ob es sich um ein Display mit Filterar- ray handelt, ob es sich um ein Display handelt, welches zwischen zweidimensionaler und dreidimensionaler Darstellung umschaltbar ist oder nicht, ob ein Trackingsy- stem angeschlossen ist oder nicht, ob ein Betrachter eine spezielle Brille zum räum¬ lichen Sehen benötigt oder nicht, etc. an das Prozessormodul 12 übermitteln. Selbstverständlich ist es auch möglich, die Set-Top-Box und das Display 2 als eine Einheit zu gestalten, wobei diese Informationen dann über Hardwareverbindungen zur Verfügung gestellt werden können.
Je nach angeschlossenem Bildschirm werden die Ausgangssignale entweder an ei¬ nem Signalwandler 14 gesendet, wo die Daten in VGA- oder DVI-Signale gewandelt werden und dann an das Display 2 weitergeleitet werden, gesendet, oder an einen Signalwandler 1 5, in dem die Ausgangssignale in LVDS-Signale umgewandelt wer- den, die direkt an ein LC-Display weitergeleitet werden können. Die eigentlichen Ausgangsbildsignale liegen also erst nach Passieren der Signalwandler 14 bzw. 1 5 vor. Diese werden dann auf das LC-Display 2 weitergeleitet und werden dort für ei¬ nen Betrachter als räumliches Bild oder als eine Folge von räumlichen Bildern darge¬ stellt.
Das in Fig.2 gezeigte Konvertiergerät ist als Set-Top-Box 1 ausgestaltet, eine gleich¬ artige Schaltstruktur, in der die Elemente Set-Top-Box 1 und LC-Display 2 in einer Einheit zusammengefaßt sind, ist jedoch ebenfalls denkbar. Solch eine Anordnung zur dreidimensional wahrnehmbaren Darstellung umfaßt einen Dateneingang, der zur Eingabe eines Datensatzes bestehend aus zwei Ansichten Ac mit c=l ..M, M=2 einer Szene/eines Gegenstandes dient, einen elektronischen Konvertierschaltkreis, welcher jeweils einen über besagten Dateneingang eingegebenen Datensatz beste¬ hend aus zwei Ansichten Ac c=l ..M, M=2 in einen Datensatz bestehend aus acht Ansichten Ok mit k=l ..N, N=8 konvertiert, wobei sich die beiden Datensätze aus Ansichten A und O, in der Parallaxe zwischen den Ansichten sowie in der Gesamt- zahl N=8, M=2 unterscheiden, eine Bildwiedergabeeinrichtung mit einer Vielzahl von Bildelementen Cc1 , die in vorgegebener Zuordnung Informationen aus den acht An¬ sichten Ok mit k=l ..N, N=8 wiedergeben, und eine Strukturplatte zur Vorgabe von Lichtausbreitungsrichtungen für das von den Bildelementen α ausgestrahlte Licht, so daß ein oder mehrere Betrachter von einer Vielzahl von Betrachtungspositionen aus jeweils mit einem Auge überwiegend oder ausschließlich Teilinformationen ei¬ ner ersten Gruppe aus den Ansichten Ok mit k=l ..N, N=8 und mit dem anderen Au-
ge überwiegend oder ausschließlich Teilinformationen einer zweiten Gruppe aus den Ansichten O, k mit k=l ..N, N=8 sehen.
Die Strukturplatte zur Vorgabe von Lichtausbreitungsrichtungen umfaßt ein Filterar- ray, wie es im Stand der Technik z.B. aus der WO 01 /56265 bekannt ist.
Bei der gewählten Ausgestaltung M=2, N=8 können weit verbreitete Stereobilddaten - bestehend aus Links-Rechts-Bildpaaren, d.h. genau M=2 Ansichten - als Ein¬ gangsdaten für die dreidimensional wahrnehmbare Darstellung auf Basis von mehr als zwei Ansichten verwendet werden. Vorteilhaft wird im Falle M=2 das Datenfor¬ mat des Datensatzes bestehend aus mindestens zwei Ansichten Ac aus der Gruppe bestehend aus räumlich multiplexten Datenformaten (Over-Under-Stereo, Left-Right- Stereo oder Interlaced-Stereo), zeitlich multiplexten Datenformaten oder mehreren Ansichten in verschiedenen Datenströmen gewählt; diese Formate sind für Stereo- bilddaten weit verbreitet. Die vorgenannten Datenformate sind z.T. auch bei M>2 einsetzbar. In allen Fällen können als Standards beispielsweise die MPEG-I , MPEG-2 oder MPEG-4-Standards eingesetzt werden. Außerdem bereitet die Übertragung von Stereobildern keinerlei Probleme bezüglich der Datenrate.
Als Bildwiedergabeeinrichtung mit einer Vielzahl von Bildelementen α; kommt z.B. ein 40" LC-Display vom Typ NEC LCD4010 in Frage.
Ferner sind bei der beispielhaften Anordnung weiterhin Mittel zur Interaktion mit dem elektronischen Konvertierschaltkreis vorhanden, auf Basis derer mindestens einer der Parameter Bildgröße, Parallaxe zwischen den Ansichten oder Auflösung der Ansichten in den Datensätzen Ok interaktiv wählbar ist. Der Konvertierschalt¬ kreis kann auch so gestaltet sein, daß er das Eingangsdatenformat automatisch er¬ kennt. Ferner ist er als ASIC ausgebildet. Überdies kann über die Mittel zur Interak¬ tion auch ein Betriebsmodus gewählt werden, in welchem die beispielhafte Anord- nung permanent zweidimensionale Ausgangsbildsignale erzeugt, obwohl für die räumliche Darstellung geeignete Eingangsbildsignale anliegen.
Bevorzugt wird nacheinander eine Vielzahl von Datensätzen bestehend aus minde¬ stens zwei Ansichten Ac in Datensätze bestehend aus mindestens zwei Ansichten Ok konvertiert. Besonders vorteilhaft ist es, wenn pro Sekunde wenigstens 20 oder mehr Datensätze bestehend aus mindestens zwei Ansichten Ac in Datensätze beste¬ hend aus mindestens zwei Ansichten Ok konvertiert werden, so daß auf der Bildwie-
dergabeeinrichtung mit der Vielzahl von Bildelementen c^ eine Bildsequenz wieder¬ gegeben wird.
Der Dateneingang, der zur Eingabe eines Datensatzes bestehend aus mindestens zwei Ansichten Ac mit c=l ...M, M≥2 einer Szene/eines Gegenstandes dient, ist kom¬ patibel mit einem digitalen und/oder analogen Satelliten-, Kabel-, und/oder Anten¬ nensignal.
Ferner enthält der elektronische Konvertierschaltkreis Mittel zur Kombination der jeweiligen acht Ansichten Ok in jeweils ein einziges Kombinationsbild. Damit werden die erzeugten Ansichten Ok in ein zur dreidimensional wahrnehmbaren Darstellung unmittelbar anzeigefähiges Bildformat konvertiert. Beispiele für mögliche Bildkom¬ binationen zur Verwendung mit Filterarrays für die räumliche Darstellung sind unter anderem in den Schriften DE 100 03 326, der DE 201 21 31 8 Ul , PCT/EP2004/004464, PCT/EP2004/001 833, PCT/EP03/07620 und der DE 1 01 45 133 angegeben. Das Kombinationsbild wird unmittelbar auf der Bildwiedergabeein¬ richtung mit einer Vielzahl von Bildelementen α wiedergegeben, wobei die Informa¬ tionen aus den acht Ansichten Ok mit k=l ..N, N=8 den einzelnen Bildelementen α entsprechend der gewählten Vorschrift zur Bildkombination zugeordnet sind.
Die Vorteile der Erfindung sind vielseitig. So können auf autostereoskopischen An¬ ordnungen, die insbesondere mit mehr als 2 Ansichten eine räumlich wahrnehmba¬ re Darstellung erzielen, auch Stereobildinhalte mit ursprünglich lediglich zwei An¬ sichten gezeigt werden. Damit wird eine verbesserte Kompatibilität zu 3D- Bildinhalten erzielt. Ferner läßt sich die erfindungsgemäße Anordnung kompakt und robust ausbilden.
Es wird angemerkt, daß die Begriffe „räumlich", „dreidimensional" und „3D" im Zu¬ sammenhang mit der hier beschriebenen Erfindung als Synonyme aufzufassen sind.