WO2022033996A2

WO2022033996A2 - Vorrichtung und verfahren zur berechnung von hologrammdaten

Info

Publication number: WO2022033996A2
Application number: PCT/EP2021/072109
Authority: WO
Inventors: Enrico Zschau; Johannes Pleikies; Robert Missbach
Original assignee: Seereal Technologies S.A.
Priority date: 2020-08-10
Filing date: 2021-08-06
Publication date: 2022-02-17
Also published as: WO2022033996A3; KR20230050404A; DE112021004254A5; CN116113890A; US20230315014A1; TW202209026A

Abstract

Die Erfindung betrifft eine Vorverarbeitungsschaltung für wenigstens eine Hologrammberechnungsschaltung, eine Vorrichtung und ein Verfahren zur Berechnung eines Hologramms. Die Vorverarbeitungsschaltung weist eine Eingangsschnittstelleneinheit zum Empfang von Daten einer darzustellenden Szene, eine Verarbeitungseinheit zur definierten Verarbeitung der empfangenen Daten und zur Umwandlung der Daten in ein systemunabhängiges Format unter Einbeziehung von spezifischen, zur Darstellung der Szene erforderlichen Parameter, und eine Ausgabeschnittstelleneinheit zur Ausgabe und zur Übermittlung der umgewandelten Daten an wenigstens eine Hologrammberechnungsschaltung auf.

Description

Vorrichtung und Verfahren zur Berechnung von Hologrammdaten

Die vorliegende Erfindung betrifft eine Vorrichtung mit einer Hologrammberechnungs-Chip- Architektur, insbesondere eine Vorverarbeitungsschaltung für wenigstens eine Hologrammberechnungsschaltung.

Ferner betrifft die vorliegende Erfindung auch eine Vorrichtung zur Berechnung von Hologrammen zur Darstellung einer vorzugsweise dreidimensionalen Szene oder eines Objekts. Zudem betrifft die vorliegende Erfindung auch eine Pipeline zur Echtzeit-Berechnung von Hologrammen und ein Verfahren zur Berechnung und Kodierung von Hologrammen, wie sie beispielsweise zur Darstellung von dreidimensionalen Szenen und Objekten mit einer holographischen Anzeigevorrichtung bzw. Display verwendet werden können.

Die vorliegende Erfindung offenbart und beschreibt somit eine Chip-Architektur und deren verschiedene Aspekte zur Content-Vorverarbeitung, zur Hologrammberechnung und zur Ausgabe des berechneten Hologramms auf einer räumlichen Lichtmodulationseinrichtung. Eine Anwendungsmöglichkeit für eine derartige Chip-Architektur können holographische Anzeigevorrichtungen bzw. Displays zur Darstellung von vorzugsweise dreidimensionalen Informationen, wie Szenen oder Objekten, sein, wobei jedoch die Anwendung nicht auf derartige Anzeigevorrichtungen beschränkt sein soll.

Eine holographische Anzeigevorrichtung bzw. Display und ein Berechnungsverfahren zur Berechnung von holographischen Daten oder Hologrammen ist beispielsweise in der WO 2004/044659 A2, WO 2006/066919 A1 , WO 2008/138979 A1 oder der WO 2011/121130 A9 beschrieben, wobei der Inhalt dieser Dokumente hiermit vollumfänglich miteinbezogen werden soll. In diesen Dokumenten ist insbesondere der Begriff des Hologramms und Subhologramms und deren Bedeutung ausführlich beschrieben, worauf im Folgenden Bezug genommen wird. Ein Gesamthologramm oder auch nur als Hologramm bezeichnet wird hierbei durch eine definierte Anzahl von Subhologrammen gebildet, die sich gegenseitig überlagern, um das Hologramm der dazustellenden dreidimensionalen Szene oder Objekts zu erzeugen.

Im Stand der Technik basieren beispielsweise Ansätze darauf, die Symmetrie, insbesondere eine Spiegelsymmetrie, in der Hologramm- bzw. Subhologrammberechnung auszunutzen, d.h. dass nur Hologrammwerte für einen Quadranten (d.h. in einem Viertel) eines zweidimensionalen (2D) Subhologramms berechnet werden müssen. Die Werte der restlichen drei Quadranten werden nicht explizit berechnet, sondern die berechneten Werte des ersten Quadranten des 2D- Subhologramms werden zur Bestimmung der Werte der drei verbleibenden Quadranten benutzt, und zwar indem die Werte des Berechnungsergebnisses des ersten Quadranten des 2D- Subhologramms durch eine entsprechende Spiegelung der Werte des ersten Quadranten entlang der Hauptachsen des 2D-Subhologramms erzeugt bzw. kopiert werden. Unter einer Spiegelsymmetrie kann mindestens eine Achsensymmetrie und/oder eine Punktsymmetrie verstanden werden, wobei die Punktsymmetrie sich insbesondere zum Mittelpunkt eines Subhologramms beziehen kann.

Allerdings ist der Aufwand zur Berechnung von Subhologrammen mit einer derartigen Vorgehensweise immer noch extrem hoch. Deshalb hat die Anmelderin ein Verfahren entwickelt, welches diesen Aufwand minimiert und vorteilhaft weiterhin die Symmetrie ausnutzt, um Subhologramme effizient zu berechnen. Dieses Verfahren zur Berechnung eines 2D- Subhologramms, das in der US 2016/0132021 A1 offenbart ist, wird nun kurz beschrieben, wobei der Inhalt der US 2016/0132021 A1 hier vollumfänglich mitaufgenommen sein soll.

In der US 2016/0132021 A1 ist eine Vorrichtung und ein Verfahren zur Berechnung von Subhologrammen bzw. eines Gesamthologramms offenbart. Eine holographische Anzeigevorrichtung zur Darstellung eines Objektpunktes einer dreidimensionalen Szene weist hierbei eine räumliche Lichtmodulationseinrichtung mit einer Matrix von Pixeln auf. Dabei kann ein Pixel auch mehrere Unterpixel bzw. Subpixel aufweisen. In diesem Fall entspricht das Pixel dann einem Macropixel. Das zu berechnende 2D-Subhologramm enthält nun komplexe Werte, die Pixeln der räumlichen Lichtmodulationseinrichtung zuordenbar sind, und weist eine Rotationssymmetrie auf, da es nur einen Objektpunkt der dreidimensionalen Szene abbildet. Unter einem komplexen Wert ist in diesem Zusammenhang insbesondere eine komplexe Zahl im mathematischen Sinne zu verstehen. Die Vorrichtung zur Berechnung eines 2D-Subhologramms zur Darstellung eines Objektpunktes einer dreidimensionalen Szene ist dadurch gekennzeichnet, dass das 2D- Subhologramm ein halbes 1 D-Subhologramm entlang eines Schnitts durch das 2D-Subhologramm vom Ursprung des 2D-Subhologramms bis zu einem maximalen Radius des 2D-Subhologramms enthält, wobei der Radius jedes Pixels bestimmt ist und jedes Pixel des 2D-Subhologramms mindestens einem Pixel des halben 1 D-Subhologramms mit gleichem oder ähnlichen Radius durch eine elektronische Schaltung fest zugeordnet ist. Dabei ist der maximale Radius der Radius des das 2D-Subhologramm umschließenden Kreises. Dadurch sind die Amplitudenwerte und Phasenwerte von Pixeln des 2D-Subhologramms, die denselben Abstand zum Ursprung dieses 2D- Subhologramms haben, also allen Pixeln gleichen Radius, identisch. Die Berechnung eines solchen Pixels genügt somit, um diese Werte ebenfalls für andere Pixel gleichen Radius nutzen zu können. Um die Berechnungszeit und den Berechnungsaufwand zur Berechnung eines Hologramms, das aus der Überlagerung von derartigen 2D-Subhologrammen erzeugt werden soll, effektiv zu verkürzen, werden Pixel gleichen oder zumindest ähnlichen Radius durch eine elektronische Schaltung einem Pixel eines halben 1 D-Subhologramms, das mit oben beschriebener Lage vom Ursprung des 2D-Subhologramms bis zu einem maximalen Radius Teil des 2D-Subhologramm ist, mit dem entsprechenden Radius zugeordnet und die Berechnung nur noch für dieses eine Pixel durchgeführt. Durch die feste Zuordnung mittels einer elektronischen Schaltung ist damit kein zusätzlicher Schritt der Ermittlung von Radien anderer Pixel, deren zusätzlicher Adressierung oder aber ein Hinzuziehen von Look-up-Tabellen für diesen Schritt nötig. Eine derartige elektronische Schaltung ist als digitale Schaltung realisierbar. Es sind jedoch auch analoge Schaltungen einsetzbar.

In einer Ausgestaltung der Vorrichtung kann dabei jedes Pixel des 2D-Subhologramms mindestens einem Pixel des halben 1 D-Subhologramms derart durch eine elektronische Schaltung in der Weise fest zugeordnet sein, dass der Radius des Pixels des 2D-Subhologramms dem mit einem mit richtungsabhängigem Streckungsfaktor multiplizierten Radius eines Pixels des halben I D- Subhologramms entspricht.

Hierbei kann die elektronische Schaltung in Form einer festverdrahteten Matrix realisiert werden. Dabei ist die elektronische Schaltung auf Field Programmable Gate Arrays (FPGAs, bzw. Anwendungsfeld programmierbare Logik-Gatter-Anordnungen), d.h. einem programmierbaren Schaltkreis, und/oder Application Specific Integrated Circuits (ASICs, bzw. Anwendungsspezifische integrierte Schaltungen) implementiert.

Wie erwähnt, sind bei einer Rotationssymmetrie des 2D-Subhologramms die Amplitudenwerte und Phasenwerte von Pixeln des 2D-Subhologramms, die denselben Abstand zum Ursprung dieses 2D- Subhologramms haben, d.h. allen Pixeln gleichen Radius, identisch. Die Anordnung der Pixel in der räumlichen Lichtmodulationseinrichtung in Matrixform, wobei die Pixel eine definierte Größe sowie einen definierten Pitch aufweisen, führt jedoch dazu, dass für konkrete Radienwerte der Pixel des halben 1 D-Subhologramms Amplituden- und Phasenwerte berechnet werden, jedoch eine Reihe von Pixeln im 2D-Subhologramm des Objektpunktes enthalten sind, deren Radienwerte von denen des halben 1 D-Subhologramms abweichen. Bei kleinen Abweichungen werden für diese trotzdem die entsprechenden für das halbe 1 D-Subhologramm berechneten Werte verwendet. Bei größeren Abweichungen von Radien von Pixeln des 2D-Subologramms von den Radien der konkreten Pixel des halben 1 D-Subhologramms ist es jedoch vorteilhaft, die benötigten Amplituden- und Phasenwerte durch Nutzung der Werte zweier oder mehrerer Pixel des halben 1 D-Subhologramms mit ähnlichen Radien wie der des betreffenden 2D-Subhologramm-Pixels zu bestimmen. Prinzipiell kann dies in linearer Form oder aber auch in nichtlinearer, quadratischer oder allgemein in exponentieller Form erfolgen. Letzteres ist sinnvoll, da zum Rand eines 2D-Subhologramms hin, d.h. zu größeren Radien, der Quantisierungsfehler zunimmt.

Die Vorrichtung weist daher in ihrer elektronischen Schaltung Mittel zur Erzeugung von Zwischenwerten durch Verknüpfung zweier oder mehrerer Pixel des halben 1 D-Subhologramms sowie zur Zuordnung der entsprechenden Pixel des 2D-Subhologamms zu diesen Zwischenwerten auf.

Um ein Hologramm der gesamten darzustellenden dreidimensionalen Szene zu erzeugen, weist eine Vorrichtung zur Berechnung eines solchen Hologramms der US 2016/0132021 A1 die oben offenbarte Vorrichtung zur Berechnung eines 2 D-Subhologramms eines Objektpunktes dieser dreidimensionalen Szene auf. Zudem weist diese Vorrichtung zur Berechnung eines derartigen Hologramms auch Mittel zur Transformation des mit der Vorrichtung zur Berechnung eines 2D- Subhologramms erzeugten 2D-Subhologramms von polaren zu kartesischen Koordinaten, wie im Übrigen auch von kartesischen in polare Koordinaten, Mittel zur Positionierung des 2D- Subhologramms auf der räumlichen Lichtmodulationseinrichtung in Abhängigkeit von der Lage des Objektpunktes der dreidimensionalen Szene sowie der Position eines Betrachters dieser Szene und Mittel zur Überlagerung der jeweiligen 2D-Subhologramme verschiedener Objektpunkte der dazustellenden dreidimensionalen Szene durch Addition der jeweiligen Real- und Imaginärteile derselben Pixel.

Ferner ist in der US 2016/0132021 A1 auch eine Pipeline zur hardwarebasierten Echtzeit- Berechnung von Hologrammen mit Hilfe von Subhologrammen beschrieben. Eine derartige Pipeline ist in Form eines programmierbaren Schaltkreises ausgeführt, um nachträglich Funktionseinheiten zu verändern oder neu hinzuzufügen. Die Pipeline weist dabei Mittel zur Berechnung von Subhologrammen und zur direkten Ansteuerung einer räumlichen Lichtmodulationseinrichtung auf. Die Pipeline ist auf der Basis einer Anwendungsfeld programmierbaren Logik-Gatter-Anordnung (FPGA) und/oder einer anwendungsspezifischen integrierten Schaltung (ASIC) realisiert.

Eine derartige Pipeline enthält Funktionseinheiten, die miteinander elektronisch verschaltet sind. Fig. 1 zeigt in einem Blockdiagramm die Struktur einer typischen Hologrammberechnungs-Pipeline 10 mit einem ASIC (application-specific integrated circuit) 11 , wie sie beispielsweise auch in der US 2016/0132021 A1 eingesetzt werden kann. Hierbei liegen in dem einzelnen ASIC 11 alle Funktionseinheiten, die zur Berechnung eines Hologramms eingesetzt werden bzw. notwendig sind, vor. Wie aus Fig. 1 zu erkennen ist, werden Daten 12 der darzustellenden Information, insbesondere Daten von Objektpunkten einer Szene, über eine Schnittstelle 13 dem ASIC 11 zugeführt, der die Daten 12 von Objektpunkten zur Beschreibung einer zu rekonstruierenden Szene über ein Eingabeverarbeitungsmodul 14 empfängt und verarbeitet. Diese Daten der darzustellenden dreidimensionalen Szene werden dann im ASIC 11 mittels einem Vorverarbeitungsmodul 15 verarbeitet und über eine einfache benutzerdefinierte Schnittstelle 16 an ein Hologrammberechnungsmodul 17 im ASIC 11 übermittelt, welches die Daten zur Hologrammberechnung verwendet. Das Hologrammberechnungsmodul 17 ist hierbei für die Synthese, die Akkumulation und das Kodieren des Hologramms zuständig. Das berechnete Hologramm wird dann über eine Ausgabeschnittstelle 18 ausgegeben und vom ASIC 11 über eine einfache Schnittstelle 19 mit einer hohen Bandbreite an eine räumliche Lichtmodulationseinrichtung (SLM) 20 zur Darstellung übermittelt. Diese Funktionseinheiten sind fest im ASIC 11 bzw. Schaltkreis integriert. Wie in Fig. 1 durch die gestrichelte Linie zu erkennen ist, umfasst der einzelne ASIC 11 das Eingabeverarbeitungsmodul 14, das Vorverarbeitungsmodul 15, das Hologrammberechnungsmodul 17 und die Ausgabeschnittstelle 18.

Allgemein betrachtet ist die Berechnung von Hologrammen zur Kodierung in eine räumliche Lichtmodulationseinrichtung sehr rechenintensiv, was zur Folge hat, dass sehr große und aufwändige Schaltungen, wie z.B. das ASIC gemäß Fig. 1 , entwickelt und hergestellt werden müssen. Ferner entsteht bei der Berechnung mittels der Schaltung relativ viel Abwärme, die abgeführt werden muss. Aufgrund der sehr hohen Bandbreiten der verwendeten Datenströme, vor allem zwischen der Ausgabeschnittstelle des ASICs und der räumlichen Lichtmodulationseinrichtung, wie in Fig. 1 dargestellt, sind vielmehr in ihrer Länge kurze Datenleitungen zu bevorzugen, da der Stromverbrauch für die Übertragung der Daten einen erheblichen Anteil am Gesamtstromverbrauch hat. Bei in ihrer Länge kurzen Datenleitungen existieren jedoch mehr Möglichkeiten, um den Stromverbrauch zu senken. Räumliche Lichtmodulationseinrichtungen werden in der Regel von mehreren Seiten, d.h. linker/rechter Rand bzw. oberer/unterer Rand, aus elektrisch mit Leitungen verbunden, um die Datenströme zu übertragen. Daraus resultiert, dass die Datenleitungslängen immer länger werden je größer die räumliche Lichtmodulationseinrichtungen in ihren Ausdehnungen werden. Eine einzelne Schaltung, beispielsweise in Form eines ASICs gemäß Fig. 1 , bedeutet jedoch auch, dass diese speziell für eine einzelne räumliche Lichtmodulationseinrichtung entwickelt wird und meist nur schwierig für andere räumliche Lichtmodulationseinrichtungen oder holographische Anzeigevorrichtungen eingesetzt werden kann, vor allem, wenn sich die erforderliche Berechnungsleistung von Hologrammen deutlich unterscheidet oder die Bandbreiten an den Schnittstellen stark variieren. Deshalb ist es Aufgabe der vorliegenden Erfindung, eine Vorrichtung sowie ein Verfahren zur Berechnung eines Hologramms der eingangs genannten Art weiterzubilden, um die Nachteile des Standes der Technik zu überwinden bzw. zu beseitigen. Insbesondere soll der Stromverbrauch bzw. die Energiekosten im Vergleich zu Vorrichtungen und Verfahren des Standes der Technik reduziert und niedrig gehalten werden. Zudem soll die Herstellung derartiger Vorrichtungen vereinfacht und die Kosten reduziert werden.

Die Darstellung einer zweidimensionalen und/oder dreidimensionalen Szene sei hier auch im Sinne von Rekonstruktion einer zweidimensionalen und/oder dreidimensionalen Szene zu verstehen.

Die vorliegende Aufgabe wird erfindungsgemäß durch eine Vorverarbeitungsschaltung mit den Merkmalen gemäß dem Anspruch 1 gelöst.

Erfindungsgemäß ist eine Vorverarbeitungsschaltung für wenigstens eine Hologrammberechnungsschaltung vorgesehen. Die Vorverarbeitungsschaltung weist eine Eingangsschnittstelleneinheit zum Empfang von Daten einer darzustellenden Szene, vorzugsweise einer dreidimensionalen Szene, eine Verarbeitungseinheit zur definierten Verarbeitung der empfangenen Daten und zur Umwandlung der Daten in ein systemunabhängiges Format unter Einbeziehung von spezifischen, zur Darstellung der Szene erforderlichen Parameter, und eine Ausgabeschnittstelleneinheit zur Ausgabe und zur Übermittlung der umgewandelten Daten an wenigstens eine Hologrammberechnungsschaltung auf.

Um die oben erwähnten Nachteile und Probleme zu umgehen und zu vermeiden, ist erfindungsgemäß vorgesehen, die einzelnen Funktionen einer aus dem Stand der Technik bekannten Schaltung zur Berechnung von Hologrammen in mehrere separate Schaltungen oder Einheiten aufzuteilen. Das bedeutet, dass erfindungsgemäß zur Berechnung von Hologrammen wenigstens zwei Schaltungen verwendet oder eingesetzt werden, die die einzelne Schaltung gemäß dem Stand der Technik ersetzen, oder die einzelne bekannte Schaltung zur Berechnung von Hologrammen gemäß dem Stand der Technik ist in wenigstens zwei Schaltungen aufgeteilt. Es ist nun eine erfindungsgemäße Vorverarbeitungsschaltung vorgesehen, die Daten eines zu berechnenden Hologramms verarbeitet bzw. vorverarbeitet, bevor diese Daten zur direkten Berechnung eines Hologramms an wenigstens eine Hologrammberechnungsschaltung übertragen und dort verwendet werden. In der Vorverarbeitungsschaltung ist nun Funktionalität implementiert, die im Gesamtberechnungssystem aus Vorverarbeitungsschaltung und Hologrammberechnungsschaltung jedoch nur einmal benötigt wird, nämlich bei der Vorverarbeitung der Daten der Szene. Diese Funktionalität ist somit nur einmal implementiert. Eine Implementierung dieser Funktionalität bei der direkten Berechnung des Hologramms in der Hologrammberechnungsschaltung ist grundsätzlich nicht vorgesehen, so dass vorteilhaft die Vorverarbeitung von Daten von der direkten Berechnung der Daten eines Hologramms getrennt und in wenigstens zwei separate bzw. voneinander getrennte Schaltungen untergebracht werden kann. Auf diese Weise ist nun erfindungsgemäß eine Vorverarbeitungsschaltung und wenigstens eine Hologrammberechnungsschaltung vorgesehen, wobei beide Schaltungen als eigenständige bzw. separate Schaltungen ausgebildet sind und getrennt voneinander betrieben werden.

Die erfindungsgemäße Vorverarbeitungsschaltung weist somit nur Einheiten bzw. Module auf, die eingehende oder übermittelte Daten für ein Hologramm vorverarbeiten. Eine direkte Berechnung eines Hologramms findet mittels der Vorverarbeitungsschaltung nicht statt. Um eine Vorverarbeitung von Daten zu realisieren, weist die Vorverarbeitungsschaltung eine Eingangsschnittstelleneinheit, eine Verarbeitungseinheit und eine Ausgabeschnittstelleneinheit auf. Die Eingangsschnittstelleneinheit dient zum Empfang von Daten einer darzustellenden vorzugsweise dreidimensionalen Szene. Die Verarbeitungseinheit ist zur definierten Verarbeitung der empfangenen Daten und zur Umwandlung der Daten in ein systemunabhängiges Format unter Einbeziehung von spezifischen, zur Darstellung der vorzugsweise dreidimensionalen Szene erforderlichen Parameter vorgesehen. Die Verarbeitungseinheit verarbeitet somit die Daten gemäß einer definierten Forderung und wandelt die vorverarbeiteten Daten einer darzustellenden Szene anschließend in ein generalisiertes, für wenigstens eine räumliche Lichtmodulationseinrichtung verarbeitbares Format um. Das bedeutet, die vorverarbeiteten Daten sind nicht auf eine spezielle räumliche Lichtmodulationseinrichtung zugeschnitten. Die Umwandlung in ein systemunabhängiges Format erfolgt dabei unter Anwendung von definierten spezifischen Parametern einer räumlichen Lichtmodulationseinrichtung. Diese Parameter können beispielsweise Informationen zu verwendeten Wellenlängen, zur Rasterung der eingesetzten räumlichen Lichtmodulationseinrichtung, zu geforderten oder vorliegenden Auflösungen, zu Abständen, beispielsweise zwischen einem Betrachter und der räumlichen Lichtmodulationseinrichtung, zu Korrekturtabellen und Korrekturparametern, um bestimmte Korrekturen, z.B. von Verzerrungen oder wellenlängenabhängigen Aberrationen, auszuführen, Schnittstelleninformationen, Schnittstellenkonfigurationen oder auch allgemeine Schnittstellenparameter sein.

Die Ausgabeschnittstelleneinheit ist hingegen zur Ausgabe und zur Verteilung der umgewandelten Daten an wenigstens eine Hologrammberechnungsschaltung vorgesehen. Somit werden diese in der Vorverarbeitungsschaltung vorverarbeiteten Daten dann zu wenigstens einer Hologrammberechnungsschaltung übertragen, die diese Daten daraufhin zur Berechnung eines Hologramms nutzt.

Aufgrund der Ausgestaltung mit wenigstens zwei separaten Schaltungen ist es vorteilhaft möglich, nicht nur eine Hologrammberechnungsschaltung zu verwenden, was jedoch grundsätzlich möglich ist, sondern auch mehrere, d.h. wenigstens zwei, Hologrammberechnungsschaltungen, die nur zur direkten Berechnung eines Hologramms verwendet werden, deren Anordnungen in Bezug zu einer räumlichen Lichtmodulationseinrichtung, für die das berechnete Hologramm dann kodiert wird, optimierter erfolgen kann, worauf später noch im Detail eingegangen wird.

Durch die Auslagerung und Implementierung von Funktionalität, die nur einmal bei der Vorverarbeitung von Daten benötigt wird, in die Vorverarbeitungsschaltung, können die Größe (Ausdehnung) und die Kosten zur Herstellung der Hologrammberechnungsschaltung wesentlich reduziert und gesenkt werden. Da die Vorverarbeitungsschaltung hauptsächlich einfache Bildverarbeitung durchführt und wenig Rechenleistung im Vergleich zur Hologrammberechnungsschaltung erfordert, ist der Stromverbrauch der Vorverarbeitungsschaltung gering, somit weniger relevant. Daher kann hier vorteilhaft auch eine größere und preiswertere Strukturbreite (sogenannter Technologieknoten (technology node)) verwendet werden, wodurch die Entwicklungskosten und Herstellungskosten gesenkt werden können. Die Vorverarbeitungsschaltung kann wiederverwendbar ausgelegt werden. Da die Entwicklung und die Herstellung einer derartigen Vorverarbeitungsschaltung jedoch deutlich günstiger als die Entwicklung und Herstellung einer Hologrammberechnungsschaltung sind, sind Revisionen bzw. Überprüfungen von verschiedenen Produkten von räumlichen Lichtmodulationseinrichtungen denkbar und möglich, auch um verschiedene neue Schnittstellen und Formate auf der Eingangsseite der Vorverarbeitungsschaltung und neue Funktionen zu ermöglichen.

Die Vorverarbeitungsschaltung ist als eigenständige bzw. separate Schaltung realisiert. Sie arbeitet unabhängig von einer Hologrammberechnungsschaltung. Dies ermöglicht den Stromverbrauch und die Herstellungskosten insgesamt zu senken, da die Vorverarbeitungsschaltung als eigenständige Schaltung nur Funktionen durchführt, die nur einmalig im Berechnungsprozess durchgeführt werden müssen, so dass wenigstens eine nachfolgende ebenfalls eigenständige bzw. separate Hologrammberechnungsschaltung nur die Berechnung eines Hologramms aufgrund der von der Vorverarbeitungsschaltung übermittelten Daten durchführt. Auf diese Weise kann dann der Stromverbrauch, den die Hologrammberechnungsschaltung zur Berechnung benötigt, niedrig gehalten werden. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den weiteren Unteransprüchen.

Vorteilhafterweise kann die Vorverarbeitungsschaltung als Anwendungsfeld-programmierbare Logik-Gatter-Anordnung (FPGA) oder als anwendungsspezifische integrierte Schaltung (ASIC) implementiert sein. Die Umsetzung als FPGA (Field Programmable Gate Array) kann je nach Herstellungs-Stückzahl kostengünstiger sein.

Die Vorverarbeitungsschaltung empfängt die Daten der zu berechnenden und darzustellenden vorzugsweise dreidimensionalen Szene, Parameter und Programme über die Eingangsschnittstelleneinheit, ein sogenanntes standardisiertes Interface. Die Eingangsschnittstelleneinheit kann dabei beispielsweise als DisplayPort, HDMI (High Definition Multimedia Interface), als eine oder mehrere Netzwerkschnittstellen oder auch als eine beliebige andere Schnittstelle mit der erforderlichen Bandbreite ausgebildet sein.

Vorteilhafterweise kann dabei vorgesehen sein, dass die der Vorverarbeitungsschaltung zugeführten Daten, Parameter und Programme in einem verschlüsselten Format vorliegen.

Die Daten der vorzugsweise dreidimensionalen Szene können in verschiedenen Formaten geliefert bzw. bereitgestellt werden, z.B. als dreidimensionale Punktwolke, als dreidimensionales Volumen oder als Zusammenstellung von gerasterten Bildern bzw. zweidimensionalen Matrizen einer oder mehrerer Ansichten aus einer oder mehreren Ebenen, d.h. Bilder aus Farbe und Tiefenmerkmalen, gegebenenfalls in mehreren Ebenen zur Realisierung von Transparenz bzw. Volumen in Hologrammen. Beliebige andere Formate sind möglich. Die Auflösung der Daten ist flexibel, wobei jedoch das realisierte Produkt einer räumlichen Lichtmodulationseinrichtung gegebenenfalls eine bestimmte maximale Auflösung zur Wiedergabe der Inhalte realisiert. Eine Besonderheit stellt die Möglichkeit des Empfangs und der Verarbeitung von herkömmlichen zweidimensionalen Daten dar, welche durch die Vorverarbeitung für die holographische Darstellung vorbereitet bzw. aufgewertet werden.

Die Vorverarbeitungsschaltung kann verschiedene Vorverarbeitungen durchführen. Diese Vorverarbeitungen führt die Verarbeitungseinheit, die die Vorverarbeitungsschaltung aufweist, durch. Sie kann derart ausgebildet sein, um beispielsweise eine Farbkorrektur, Helligkeitskorrektur und/oder eine Positionskorrektur separat für jede Wellenlänge (Farbe) und jede Ansicht der resultierenden dargestellten Objektpunkte der vorzugsweise dreidimensionalen Szene vorzunehmen. Allgemein betrachtet kann somit vorgesehen sein, dass die Verarbeitungseinheit zur Korrektur von Abbildungsfehlern in der Darstellung der Szene ausgebildet ist. Die Verarbeitungseinheit kann jedoch aber auch zur Aufwertung, Verbesserung, Anpassung und/oder allgemein zur Veränderung der empfangenen Daten ausgebildet sein.

Diese Vorverarbeitungen der Daten mittels der Verarbeitungseinheit in der Vorverarbeitungsschaltung können z.B. auch zur Korrektur von verschiedenen Effekten eines optischen Systems, vorgesehen in einer verwendeten holographischen Anzeigevorrichtung, dienen. Erfindungsgemäß kann somit vorgesehen sein, dass die Verarbeitungseinheit zur Korrektur von Abbildungsfehlern oder von sich auf eine darzustellende Szene negativ auswirkenden Effekten eines in einer holographischen Anzeigevorrichtung vorgesehenen optischen Systems ausgebildet ist.

Auch unterschiedliche Korrekturen für jede verwendete Wellenlänge (Farbe) des Lichts zur Darstellung der vorzugsweise dreidimensionalen Szene können mittels der Vorverarbeitungsschaltung bzw. der Verarbeitungseinheit der Vorverarbeitungsschaltung durchgeführt werden, um wellenlängenabhängige Effekte im optischen System einer eingesetzten holographischen Anzeigevorrichtung gegebenenfalls unterschiedlich zu kompensieren.

In einer weiteren Ausgestaltung der Erfindung kann die Verarbeitungseinheit zur definierten Korrektur von Sehfehlern wenigstens eines Auges eines Betrachters der darzustellenden Szene ausgebildet sein. Auch eine begrenzte nachträgliche Korrektur von Sehfehlern von einem oder beiden Augen eines Betrachters, der die dargestellte Szene beobachtet, können mit der Verarbeitungseinheit der Vorverarbeitungsschaltung vorgenommen werden. Hierzu kann die Verarbeitungseinheit die Daten des zu berechnenden Hologramms derart verarbeiten, dass die mittels des Hologramms darzustellenden Objektpunkte der Szene in jeder Dimension/Richtung individuell verschoben, gedreht und/oder verzerrt werden.

In einer besonders vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass die Verarbeitungseinheit derart ausgebildet ist, dass bei Verwendung von Eye-Tracking-Daten in Verbindung mit Foveated Rendering die Auflösung, der Detailgrad und/oder die holographische Qualität der darzustellenden Szene anhand einer Blickrichtung eines Auges eines Betrachters in definierten Bereichen eines Sichtfelds des Betrachters anpassbar ist.

Unter Anwendung von Eye-Tracking-Daten zur Nachverfolgung von Augen eines Betrachters in Echtzeit kann sogenanntes Foveated Rendering umgesetzt werden, indem die Auflösung, der Detailgrad und/oder die holographische Qualität der vorzugsweise dreidimensionalen Szene anhand der aktuellen oder vorhergesagten Blickrichtung eines Auges eines Betrachters angepasst wird. Die Auflösung, der Detailgrad und/oder die holographische Qualität der Szene kann mittels der Vorverarbeitungseinheit durch Verarbeiten der empfangenen Daten dabei so angepasst werden, dass bei Betrachten der dreidimensionalen Szene im Randbereich der Fovea des Auges des Betrachters die Auflösung, der Detailgrad und/oder die holographische Qualität der Szene reduziert vorliegt. In Blickrichtung des Auges des Betrachters hingegen weist die dargestellte Szene eine hohe Auflösung, einen hohen Detailgrad und/oder eine hohe holographische Qualität auf, wohingegen im Randbereich der Szene, die nicht direkt vom Betrachter angeblickt oder anvisiert wird, die Auflösung, der Detailgrad und/oder die holographische Qualität verringert sind. Auch kann die Zahl der Wellenlängen (Farben) des Lichts reduziert werden. Das bedeutet, mittels der Verarbeitungseinheit können die Daten der Szene derart bearbeitet sein, dass die Auflösung, der Detailgrad und/oder die holographische Qualität der Szene in ihrem Randbereich reduziert ist. Mit derart vorverarbeiteten Daten kann dann nach Übermittlung dieser Daten an wenigstens eine Hologrammberechnungsschaltung das geforderte Hologramm berechnet werden. Auf diese Weise kann in der wenigstens einen Hologrammberechnungsschaltung der Stromverbrauch zur Berechnung des Hologramms für die darzustellende vorzugsweise dreidimensionale Szene reduziert bzw. gesenkt werden. Auch kann eine derartige Verarbeitung genutzt werden, um festzulegen, welche Wellenlängen des verwendeten Lichts im peripheren Sichtfeld des Betrachters dargestellt werden müssen, um zusätzlich Energie in der wenigstens einen Hologrammberechnungsschaltung zu sparen.

Vorteilhafterweise kann ferner vorgesehen sein, dass die Verarbeitungseinheit zur Steuerung von steuerbaren Komponenten wenigstens einer räumlichen Lichtmodulationseinrichtung oder einer holographischen Anzeigevorrichtung ausgebildet ist.

Die Verarbeitungseinheit kann ferner die gesamtheitliche Steuerung wenigstens einer räumlichen Lichtmodulationseinrichtung oder einer holographischen Anzeigevorrichtung übernehmen. Das bedeutet, die Verarbeitungseinheit bzw. allgemein gesehen die Vorverarbeitungsschaltung kann alle elektronischen bzw. steuerbaren Komponenten wenigstens einer räumlichen Lichtmodulationseinrichtung oder einer holographischen Anzeigevorrichtung ansteuern bzw. definiert steuern. Derartige steuerbare Komponenten bzw. Systeme können beispielsweise eine Beleuchtungseinrichtung mit wenigstens einer Lichtquelle, wie z.B. ein Laser oder LED, oder Einrichtungen zum Verschieben oder Nachführen eines virtuellen Sichtbarkeitsbereichs/Betrachterfensters sein. Ebenfalls ist mittels der Verarbeitungseinheit bzw. der Vorverarbeitungsschaltung eine Steuerung von aktiven optischen Elementen zur Modulation und Manipulation von auftreffenden Lichtwellen in der wenigstens einen räumlichen Lichtmodulationseinrichtung mit dem Ziel eines synchronen und effizienten Betriebes und Zusammenspiels möglich.

In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann in der Verarbeitungseinheit der Vorverarbeitungsschaltung eine Kombination aus einer festen Logik mit zur Laufzeit umschaltbaren Pfaden oder zur Laufzeit einmalig umschaltbaren Pfaden und wenigstens einem Prozessor eingesetzt sein. Die Vorverarbeitungsschaltung verwendet in ihrer Verarbeitungseinheit eine Kombination aus fester Logik mit zur Laufzeit umschaltbaren Pfaden oder einmalig umschaltbaren Pfaden und wenigstens einen eingebetteten Prozessor mit wenigstens einem Prozessorkern, wobei vorteilhafterweise mehrere Prozessoren bzw. Prozessorkerne zur Anwendung kommen können, auf denen die benötigten Programme und Module (deren Anzahl abhängig ist von den Aufgaben, der Menge der zu berechnenden Daten und der Anzahl paralleler Berechnungspfade) laufen, um alle geforderten Aufgaben zu lösen. Eine Ausführung der Verarbeitungseinheit auch ohne Programme oder Prozessoren bzw. Prozessorkernen ist auch denkbar und realisierbar.

Eine weitere Funktion der Vorverarbeitungsschaltung ist die Implementierung eines Timing- Controllers zur direkten Taktung und Steuerung wenigstens einer räumlichen Lichtmodulationseinrichtung, für die das berechnete Hologramm kodiert wird, und von Source- Treibern oder allgemeiner Komponenten und Schaltkreise, um wenigstens eine räumliche Lichtmodulationseinrichtung zu treiben und die berechneten Daten eines Hologramms in die Pixel bzw. Pixelzellen der wenigstens einen räumlichen Lichtmodulationseinrichtung zu übertragen. Für den Fall, dass mehrere, d.h. wenigstens zwei, der Vorverarbeitungsschaltung nachfolgenden ebenfalls eigenständig ausgebildeten Hologrammberechnungsschaltungen vorliegen, werden diese entsprechend der vorgenannten Steuerung der wenigstens einen räumlichen Lichtmodulationseinrichtung für einen reibungslosen Betrieb mittels der Vorverarbeitungsschaltung synchronisiert. Mit anderen Worten, ein Timing-Controller kann zur Erzeugung von Steuersignalen und/oder Synchronisierungssignalen in der Vorverarbeitungsschaltung vorgesehen sein.

Aus dem Stand der Technik ist weiterhin bekannt, dass eine Zwischenspeicherung eines Hologramms in der Regel notwendig ist, um eine Normalisierung von komplexwertigen Daten im Rahmen eines Kodierungsschrittes (Encoding) vorzunehmen, um die Darstellung der Daten auf begrenzt auflösenden Pixeln wenigstens einer räumlichen Lichtmodulationseinrichtung zu ermöglichen. Beispielsweise ist die Bitanzahl z.B. auf 8 Bit pro (Sub-)Pixel festgelegt, wobei jedoch ein beliebiger Wert je nach Anwendung vorliegt.

Unter einer Normalisierung eines Hologramms kann als einfachste Methode z.B. die Ermittlung des maximalen Betrages aller komplexen Zahlen im Hologramm verstanden werden, d.h. eine maximale Magnitude bzw. Amplitude. Diese Magnitude dient dann zur Skalierung aller Werte im Hologramm auf den verfügbaren Wertebereich (entsprechend der Bitanzahl). Andere Normalisierungsverfahren sind jedoch auch möglich, z.B. eine Normalisierung von Hologrammen basierend auf Histogrammen.

Eine typische Normalisierung von Hologrammen nach dem Stand der Technik benötigt den kompletten Datensatz, somit das komplette Hologramm in voller Werteauflösung, in der Regel durch Gleitkomma (floating point) oder diskrete Werte mit sehr hoher Bitauflösung, z.B. > 16 Bit, um die Normalisierungsparameter zu bestimmen bevor die Normalisierung auf diskrete Werte, d.h. die Bitzahl der verwendeten räumlichen Lichtmodulationseinrichtung, ausgeführt werden kann. Daher muss das Hologramm entweder in einem externen Speicher zwischengespeichert werden oder in der verwendeten Schaltung zur Berechnung, wie z.B. im ASIC, selbst. Ein ASIC mit entsprechend großer Speicherkapazität wäre in seiner Ausdehnung jedoch sehr groß (Chipgröße) und sehr teuer in der Herstellung. Eine Nutzung von einem externen Speicher bedeutet hingegen ein um Größenordnungen höherer Stromverbrauch und Komplexität. Geeignete externe Speicher sind sehr teuer hinsichtlich Kosten und Stromverbrauch, bedingt durch die hohe Anzahl an zusätzlichen Hochgeschwindigkeits-Datenleitungen, die teuren Hochleistungs-Speicherschaltkreise sowie für die entsprechende Nutzungslizenz. All diese Fakten machen einen derartigen Schaltkreis oder ASIC unrentabel bzw. ineffizient und ein konkurrenzfähiges Produkt einer räumlichen Lichtmodulationseinrichtung nahezu unmöglich. Beide Möglichkeiten bieten somit keine rentablen Lösungen.

Daher kann in einer besonders vorteilhaften Ausgestaltung der Erfindung vorgesehen sein, dass die Verarbeitungseinheit zur Durchführung von Analysen der Daten der darzustellenden Szene ausgebildet ist, um eine Normalisierung eines Hologramms bzw. eine Hologrammnormalisierung umzusetzen bzw. auszuführen.

Zur Realisierung einer Normalisierung eines Hologramms bzw. einer Hologrammnormalisierung im letzten Schritt in der Hologrammberechnung, dem Kodieren (Encoding), führt die Verarbeitungseinheit der Vorverarbeitungsschaltung erfindungsgemäß spezielle Analysen der Daten der darzustellenden vorzugsweise dreidimensionalen Szene durch, um eine annähernd korrekte Hologrammnormalisierung zu ermöglichen. Auf diese Weise kann eine Zwischenspeicherung des kompletten Hologramms vermieden werden, so dass eine nachfolgende Hologrammberechnungsschaltung keinen Zwischenspeicher benötigt. Eine absolut exakte Normalisierung der Hologrammdaten ist grundsätzlich nicht erforderlich, da eine kleine Abweichung in der Regel nur zu einer kaum wahrnehmbaren Schwankung in der Helligkeit des Hologramms bzw. der dargestellten vorzugsweise dreidimensionalen Szene führen würde. Die Vermeidung eines Zwischenspeichers in der Hologrammberechnungsschaltung reduziert somit die Komplexität und den Stromverbrauch der Hologrammberechnungsschaltung erheblich bzw. um Größenordnungen.

Vorteilhafterweise kann zudem vorgesehen sein, dass die Vorverarbeitungsschaltung gekennzeichnet ist durch eine Skalierbarkeit für verschiedene Größen der wenigstens einen räumlichen Lichtmodulationseinrichtung und/oder Hologrammauflösungen und/oder Szenenauflösungen und/oder Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung durch eine variable Aktivierung von Berechnungspfaden.

Weiterhin wird die vorliegende Aufgabe erfindungsgemäß auch durch eine Vorrichtung mit den Merkmalen nach Anspruch 13 gelöst.

Erfindungsgemäß wird eine Vorrichtung zur Berechnung eines Hologramms zur Darstellung einer Szene mittels einer holographischen Anzeigevorrichtung, die wenigstens eine räumliche Lichtmodulationseinrichtung aufweist, vorgeschlagen. Die erfindungsgemäße Vorrichtung zur Berechnung eines Hologramms weist dabei eine oben beschriebene erfindungsgemäße Vorverarbeitungsschaltung und wenigstens eine Hologrammberechnungsschaltung zur Berechnung eines Hologramms und zur Kodierung des Hologramms für die wenigstens eine räumliche Lichtmodulationseinrichtung auf.

Die Vorrichtung weist somit die erfindungsgemäße Vorverarbeitungsschaltung, die oben eingehend erläutert wurde, und wenigstens eine, vorzugsweise wenigstens zwei, Hologrammberechnungsschaltungen auf, so dass die einzelnen Funktionen, die zur Berechnung eines Hologramms notwendig sind, auf mehrere Einheiten, d.h. mehrere eigenständige bzw. separate Schaltungen, aufgeteilt sind. Somit kann die wenigstens eine Hologrammberechnungsschaltung als eigenständige Schaltung realisiert sein oder die wenigstens eine Hologrammberechnungsschaltung kann unabhängig von der Vorverarbeitungsschaltung realisiert sein.

Die Realisierung der beschriebenen erfindungsgemäßen Architektur löst im Vergleich zum 1 -Chip Ansatz bzw. einer einzelnen Schaltung des Standes der Technik folgende technische Hürden. Die Vorverarbeitungsschaltung wie auch die wenigstens eine Hologrammberechnungsschaltung können als Komponenten für verschiedene Produkte einer räumlichen Lichtmodulationseinrichtung wiederverwendet werden. Schaltungen implementiert in Form von ASICs sind generell teuer in der Entwicklung, können jedoch bei einer Massenfertigung entsprechend preiswert in der Herstellung sein. Die Wiederverwendbarkeit derartiger erfindungsgemäßer Schaltungen erhöht daher die Stückzahlen und senkt somit die Herstellungskosten. Zudem kann vorteilhafterweise das Design der erfindungsgemäßen Hologrammberechnungsschaltung mit Hilfe der zugelieferten erfindungsgemäßen Vorverarbeitungsschaltung vermarktet werden. Diese Tatsache erlaubt wiederum auch herstellerspezifische Anpassungen an Schnittstellen einer räumlichen Lichtmodulationseinrichtung sowie die Auswahl eigener geeigneter Fertigungstechnologien. Durch das Vorsehen von wenigstens zwei Schaltungen, nämlich die Vorverarbeitungsschaltung und wenigstens eine Hologrammberechnungsschaltung, kann jede einzelne Schaltung in ihrer Chipgröße optimiert werden. Das bedeutet, jeder Chip bzw. jede Schaltung implementiert nur die Funktionen, die nötig sind, so dass keine größeren toten (unbelegten) bzw. abgeschalteten Bereiche vorliegen. Hieraus ergibt sich ein wichtiger und entscheidender Vorteil gegenüber von Schaltungen in Form von einem 1-Chip gemäß dem Stand der Technik wie z.B. gemäß Fig. 1 , nämlich die Optimierung von Stromverbrauch und Hitzeentwicklung im Betrieb einer räumlichen Lichtmodulationseinrichtung und somit einer holographischen Anzeigevorrichtung, sowie Platzbedarf bzw. Integrationsdichte und Herstellungskosten aufgrund gegebener Skalierbarkeit, da die Hologrammberechnungsschaltung für verschiedene Varianten einer räumlichen Lichtmodulationseinrichtung verwendet werden kann. Mit anderen Worten, die wenigstens eine Hologrammberechnungsschaltung kann für verschiedene Ausführungen oder Ausgestaltungen der wenigstens einen räumlichen Lichtmodulationseinrichtung vorgesehen sein.

Wie auch die Vorverarbeitungsschaltung kann die wenigstens eine Hologrammberechnungsschaltung als Anwendungsfeld-programmierbare Logik-Gatter- Anordnung (FPGA) oder als anwendungsspezifische integrierte Schaltung (ASIC) implementiert sein.

Die wenigstens eine Hologrammberechnungsschaltung kann erfindungsgemäß eine Eingangsschnittstelleneinheit zum Empfang von von der Vorverarbeitungsschaltung verarbeiteten Daten, eine Hologrammberechnungseinheit zur Berechnung und Kodierung des Hologramms, und eine Ausgabeschnittstelleneinheit zum Übermitteln der Daten des berechneten Hologramms an die wenigstens eine räumliche Lichtmodulationseinrichtung aufweisen.

Die Eingangsschnittstelleneinheit der wenigstens einen Hologrammberechnungsschaltung empfängt somit die in der Vorverarbeitungsschaltung verarbeiteten bzw. vorverarbeiteten Daten in einem systemunabhängigen Format bzw. in einem generalisierten, für die Hologrammberechnungsschaltung verarbeitbaren Format. Mit anderen Worten, eine Zufuhr von von der Vorverarbeitungsschaltung verarbeiteten Daten der Szene ist in einem systemunabhängigen Format an die wenigstens eine Hologrammberechnungsschaltung vorgesehen. Vorteilhafterweise kann hierzu die wenigstens eine Hologrammberechnungsschaltung derart ausgebildet sein, dass die in einem systemunabhängigen Format zugeführten Daten der Szene direkt nutzbar sind und das Hologramm berechenbar ist. Es kann aber auch der Sonderfall möglich sein, dass die eingehenden Daten der Szene nicht in einem systemunabhängigen Format vorliegen und daher auch noch in der wenigstens einen Hologrammberechnungsschaltung vorverarbeitet werden müssen. Allerdings erfolgt dann keine derart komplexe Vorverarbeitung wie es die Vorverarbeitungsschaltung realisiert.

Die Hologrammberechnungseinheit der wenigstens einen Hologrammberechnungsschaltung berechnet dann aus diesen übertragenen Daten ein Hologramm und dient zur Kodierung des Hologramms für eine räumliche Lichtmodulationseinrichtung. Zudem weist die wenigstens eine Hologrammberechnungsschaltung auch eine Ausgabeschnittstelleneinheit auf, die die Daten des berechneten Hologramms an die räumliche Lichtmodulationseinrichtung überträgt.

Die wenigstens eine Hologrammberechnungsschaltung kann hoch integriert als Teil der wenigstens einen räumlichen Lichtmodulationseinrichtung ausgebildet sein. Hierzu kann sie in der Nähe von sogenannten Source-Treibern vorgesehen bzw. angeordnet sein. Aktuelle Entwicklungen legen auch den Grundstein, dass eine derartige Hologrammberechnungsschaltung wie auch eine erfindungsgemäße Vorverarbeitungsschaltung direkt auf ein Substrat der wenigstens einen räumlichen Lichtmodulationseinrichtung (Chip on glass) aufgebracht sein kann. Mit anderen Worten, die wenigstens eine Hologrammberechnungsschaltung kann als Teil der wenigstens einen räumlichen Lichtmodulationseinrichtung ausgebildet sein oder direkt auf einem Substrat der wenigstens einen räumlichen Lichtmodulationseinrichtung implementiert sein.

Vorzugsweise kann zudem vorgesehen sein, dass wenigstens zwei Hologrammberechnungsschaltungen vorgesehen sind, die in Reihe geschaltet und/oder parallel zueinander geschaltet sind.

Besonders vorteilhaft ist, wenn mehrere Hologrammberechnungsschaltungen, beispielsweise als ASIC implementiert, vorgesehen sind. Diese wenigstens zwei Hologrammberechnungsschaltungen können beispielsweise nahe an den Anschlüssen bzw. Source-Treibern einer räumlichen Lichtmodulationseinrichtung angeordnet sein. Hierzu können die Hologrammberechnungsschaltungen in Reihe miteinander verbunden sein und im Bereich der Seitenfläche der räumlichen Lichtmodulationseinrichtung angeordnet sein. Auch ist es möglich, die Hologrammberechnungsschaltungen parallel zueinander zu schalten und anzuordnen. Ferner könnte auch eine Kombination aus Reihenschaltung und Parallelschaltung der Hologrammberechnungsschaltungen vorteilhaft sein, insbesondere wenn eine große Anzahl an Hologrammberechnungsschaltungen vorgesehen ist. Die Aufteilung in mehrere Hologrammberechnungsschaltungen hat außerdem noch einen großen Vorteil, der in der gleichmäßigen Abführung der Abwärme über mehrere kleine Punkte (Hotspots) anstatt über einem großen Punkt wie bei Schaltungen im Stand der Technik zu finden ist. Die zu verwendende Anzahl an Hologrammberechnungsschaltungen ergibt sich aus der erforderlichen Rechenleistung sowie der erforderlichen Bandbreite zur räumlichen Lichtmodulationseinrichtung. Dies skaliert beides in der Regel auch mit der Größe der räumlichen Lichtmodulationseinrichtung, was bedeutet, je größer die Fläche der räumlichen Lichtmodulationseinrichtung ist, desto größer sollte die Anzahl an Hologrammberechnungsschaltungen sein. Die Nähe der Hologrammberechnungsschaltungen zum Rand der räumlichen Lichtmodulationseinrichtung bzw. den Source-Treibern der räumlichen Lichtmodulationseinrichtung ermöglicht kurze Datenleitungen, was den Stromverbrauch bei den sehr hohen Datenraten entsprechend vorteilhaft reduziert.

Das Interface bzw. die Ausgabeschnittstelleneinheit der bzw. jeder Hologrammberechnungsschaltung zur räumlichen Lichtmodulationseinrichtung kann dabei flexibel ausgelegt sein und kann so eine Anpassung der Datenrate, der Anzahl der Übertragungsleitungen und des zu verwendenden Protokolls ermöglichen. Dafür können in der Produktion bzw. Herstellung einer räumlichen Lichtmodulationseinrichtung die entsprechenden Datenpfade auf der Hologrammberechnungsschaltung fest aktiviert bzw. konfiguriert werden. Dies kann einerseits zur Laufzeit bei der Initialisierung der Hologrammberechnungsschaltung erfolgen oder aber über Konfigurationsbrücken (Antifuses) in der Hologrammberechnungsschaltung fest eingestellt werden.

Vorteilhafterweise kann eine externe Datenschnittstelleneinheit zum verschlüsselten Zuführen von Daten und Programmen an die Vorverarbeitungsschaltung vorgesehen sein. Diese externe Datenschnittstelleneinheit kann dafür vorgesehen sein, um die Daten, die die Vorverarbeitungsschaltung verwendet, sowie Programme, die auf der Vorverarbeitungsschaltung ausgeführt werden, verschlüsselt der Vorverarbeitungsschaltung zuzuführen. Hierzu können die verschlüsselt der Vorverarbeitungsschaltung zugeführten Daten und Programme verschlüsselt auf einem nicht flüchtigen Speicher abgelegt sein. Der nicht flüchtige Speicher kann hierbei extern oder intern, d.h. außerhalb oder innerhalb der Vorverarbeitungsschaltung, vorgesehen sein. Auf diese Weise kann ein schädlicher Zugriff vermieden werden.

Besonders vorteilhaft kann erfindungsgemäß vorgesehen sein, dass eine gegenseitige Authentifikation bzw. Echtheitsprüfung zwischen der Vorverarbeitungsschaltung und der wenigstens einen Hologrammberechnungsschaltung implementiert ist. Dies ist eine Maßnahme im Sinne einer Echtheitsprüfung, um unerlaubte Kopien entweder der Vorverarbeitungsschaltung oder der wenigstens einen Hologrammberechnungsschaltung zu verhindern.

Dies hat den Vorteil, dass eine Vermarktung der erfindungsgemäßen Vorrichtung aus Vorverarbeitungsschaltung und wenigstens einer Hologrammberechnungsschaltung oder auch der eigenständigen bzw. separaten Schaltungen, Vorverarbeitungsschaltung und Hologrammberechnungsschaltung, jeweils als eigenständiges Produkt möglich ist. Hierfür kann das Design der Schaltung, d.h. der "Quellcode" bzw. das RTL-Design, als verschlüsselter IP-Core zur Verfügung gestellt werden. Dadurch kann dieser IP-Core nur durch EDA-Werkzeuge (Electronic Design Automation) für FPGA oder ASIC Design gelesen und verarbeitet werden.

Die Vorverarbeitungsschaltung führt spezielle Aufgaben aus, in denen viel Know-how bezüglich Kalibrierung der räumlichen Lichtmodulationseinrichtung, Korrekturen des Hologramms und Anpassung/Aufwertung der vorzugsweise dreidimensionalen Szene steckt und implementiert ist. Pro Produkt einer räumlichen Lichtmodulationseinrichtung oder holographischen Anzeigevorrichtung wird wenigstens eine Vorverarbeitungsschaltung zur Ansteuerung der wenigstens einen Hologrammberechnungsschaltung benötigt. Durch Maßnahmen, wie geschützte nicht extern auslesbare Daten-Bereiche (EEPROMs, extern beschreibbar, nur intern lesbar) in der Vorverarbeitungsschaltung, kann eine Verschlüsselungstechnologie eingesetzt werden, um eine gegenseitige Authentifikation zum Zwecke einer Echtheitsprüfung zwischen der Vorverarbeitungsschaltung und der wenigstens einen Hologrammberechnungsschaltung zu implementieren und Übertragungskanäle zu verschlüsseln. Auf Basis von gängigen bzw. bisher bekannten Verschlüsselungsmethoden, wie z.B. TLS oder SSL, können private Schlüssel im geschützten Bereich der Vorverarbeitungsschaltung abgelegt werden, die zur Entschlüsselung der Parameter der räumlichen Lichtmodulationseinrichtung und Programme auf dem externen oder internen nicht flüchtigen Speicher erforderlich sind. Die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung können sich somit auch gegenseitig authentifizieren, um jeweils ihre Echtheit zu überprüfen und zu beweisen. Schlägt diese Prüfung fehl, kann die jeweilige Schaltung, Vorverarbeitungsschaltung und/oder Hologrammberechnungsschaltung, beispielsweise in einen speziellen Ungültigkeits-Modus versetzt werden. Die Auswirkungen davon können vielfältig sein, z.B. Einblendung einer entsprechenden Information auf der räumlichen Lichtmodulationseinrichtung oder holographischen Anzeigevorrichtung, Einstellung des Betriebes der holographischen Anzeigevorrichtung, Betrieb in einer deutlich reduzierten Qualität der dargestellten vorzugsweise dreidimensionalen Szene oder ähnliche Maßnahmen.

Ferner kann die erfindungsgemäße Vorrichtung besonders vorteilhaft gekennzeichnet sein durch eine Skalierbarkeit der Vorverarbeitungsschaltung und/oder der wenigstens einen Hologrammberechnungsschaltung für verschiedene Größen der wenigstens einen räumlichen Lichtmodulationseinrichtung und/oder Hologrammauflösungen und/oder Szenenauflösungen und/oder Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung durch eine variable Aktivierung von Berechnungspfaden.

Eine Hologrammberechnungsschaltung kann somit mehrfach in Verbindung mit einer räumlichen Lichtmodulationseinrichtung eingesetzt bzw. verwendet werden. Sind bestimmte Voraussetzungen, wie z.B. bezüglich des Seitenverhältnisses zumindest ähnlich gleicher Pixelpitch, erfüllt, kann ein und dieselbe Hologrammberechnungsschaltung auch in verschiedenen Produkten einer räumlichen Lichtmodulationseinrichtung eingesetzt werden, da dadurch eine teure Entwicklung und Herstellung einer Schaltung zur Berechnung von Hologrammen pro Produkt einer räumlichen Lichtmodulationseinrichtung vermieden werden kann. In ihrer Form kleiner ausgebildete Schaltungen, z.B. ASICs, im Vergleich zu einer in der Ausdehnung großen Schaltung, z.B. ASIC, haben außerdem den Vorteil, dass eine höhere Ausbeute in der Produktion erreicht werden kann. Die Entwicklung und Verifikation sind zudem ebenfalls weniger aufwendig. Auch der Stromverbrauch kann durch Einsatz von kleineren Prozessstrukturen gesenkt werden. Dies lohnt sich, wenn hohe Stückzahlen an Hologrammberechnungsschaltungen vorgesehen werden sollen, was durch die Generalisierung und Aufteilung in mehrere bzw. in wenigstens zwei Hologrammberechnungsschaltungen unterstützt wird. Grundsätzlich ermöglicht das Vorsehen von wenigstens zwei Hologrammberechnungsschaltungen auch eine Vermarktung des Designs der Hologrammberechnungsschaltung.

Die vorliegende Aufgabe wird ferner erfindungsgemäß durch eine holographische Anzeigevorrichtung mit den Merkmalen gemäß Anspruch 25 gelöst.

Die erfindungsgemäße holographische Anzeigevorrichtung weist folgende Merkmale auf:

- eine oben beschriebene erfindungsgemäße Vorverarbeitungsschaltung, - wenigstens eine oben beschriebene erfindungsgemäße Hologrammberechnungsschaltung zur Berechnung eines Hologramms, und

- wenigstens eine räumliche Lichtmodulationseinrichtung, für die das berechnete Hologramm kodiert ist.

Eine derartige erfindungsgemäße holographische Anzeigevorrichtung weist im Vergleich zu einer holographischen Anzeigevorrichtung des Standes der Technik einen wesentlich geringeren Stromverbrauch, eine geringere Hitzeentwicklung im Betrieb der Anzeigevorrichtung, niedrigere Herstellungskosten und optimierte Schaltungen zur Berechnung von Hologrammen auf. Zudem gelten auch hier die zu den einzelnen Komponenten der Anzeigevorrichtung, insbesondere zu der Vorverarbeitungsschaltung und der Hologrammberechnungsschaltung, beschriebenen Vorteile.

Die Daten des mit der wenigstens einen Hologrammberechnungsschaltung berechneten Hologramms können über wenigstens einen Source-Treiber an die wenigstens eine räumliche Lichtmodulationseinrichtung übermittelt werden. Mit anderen Worten, wenigstens ein Source- Treiber kann vorgesehen sein, mit welchem Daten des mit der wenigstens einen Hologrammberechnungsschaltung berechneten Hologramms an die wenigstens eine räumliche Lichtmodulationseinrichtung übermittelbar sind.

Die erfindungsgemäße holographische Anzeigevorrichtung kann zudem eine Beleuchtungseinrichtung, die wenigstens eine Lichtquelle aufweist, und ein optisches System aufweisen, mittels denen in Verbindung mit der wenigstens einen räumlichen Lichtmodulationseinrichtung eine Szene rekonstruierbar ist.

Zudem wird die vorliegende Aufgabe der Erfindung auch durch eine Pipeline zur Echtzeitberechnung von Hologrammen mit den Merkmalen gemäß des Anspruchs 28 gelöst.

Die erfindungsgemäße Pipeline zur Echtzeitberechnung von Hologrammen weist eine erfindungsgemäße oben beschriebene Vorverarbeitungsschaltung zum Vorverarbeiten von Daten einer Szene und zur direkten Ansteuerung von Komponenten wenigstens einer räumlichen Lichtmodulationseinrichtung und wenigstens eine erfindungsgemäße oben beschriebene Hologrammberechnungsschaltung zur Berechnung von Hologrammen auf, wobei die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung jeweils auf Basis einer Anwendungsfeld programmierbaren Logik-Gatter-Anordnung (FPGA) und/oder einer anwendungsspezifischen integrierten Schaltung (ASIC) realisiert sind.

Die Berechnung und Ausgabe von Hologrammen zur Darstellung auf einer räumlichen Lichtmodulationseinrichtung, insbesondere auf Basis der beschriebenen Vorrichtungen und nachfolgend noch zu beschreibenden Verfahren, unter Verwendung von Schaltungen, wird nachfolgend in Form einer Pipeline zur hardwarebasierten Echtzeit-Berechnung von Hologrammen mit Hilfe von Subhologrammen und direkter Ansteuerung wenigstens einer räumlichen Lichtmodulationseinrichtung beschrieben. Eine derartige erfindungsgemäße Pipeline zeichnet sich dadurch aus, dass diese eine Vorverarbeitungsschaltung und wenigstens eine Hologrammberechnungsschaltung aufweist, die beide eigenständige bzw. separate Schaltungen bilden.

Die erfindungsgemäße Pipeline zur Echtzeit-Berechnung von Hologrammen weist somit die Vorverarbeitungsschaltung zum Vorverarbeiten von Daten einer vorzugsweise dreidimensionalen Szene und zur direkten Ansteuerung wenigstens einer räumlichen Lichtmodulationseinrichtung und die wenigstens eine Hologrammberechnungsschaltung zur Berechnung von Hologrammen auf. Sie ist zudem dadurch gekennzeichnet, dass die Vorverarbeitungsschaltung wie auch die wenigstens eine Hologrammberechnungsschaltung auf der Basis einer Anwendungsfeld programmierbarer Logik-Gatter-Anordnung (FPGA) und/oder einer anwendungsspezifischen integrierten Schaltung (ASIC) realisiert sind.

Insbesondere kann eine derartige Pipeline eine erfindungsgemäße Vorrichtung zur Berechnung eines Holgramms, insbesondere eines Subhologramms, zur Darstellung einer vorzugsweise dreidimensionalen Szene bzw. eine aus Objektpunkten aufgebaute Szene aufweisen.

Besonders vorteilhaft kann sein, wenn die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung zur Laufzeit konfigurierbar sind.

Die als eine Anwendungsfeld programmierbare Logik-Gatter-Anordnung (FPGA) und/oder als anwendungsspezifisch integrierte Schaltung (ASIC) implementierte Vorverarbeitungsschaltung und wenigstens eine Hologrammberechnungsschaltung können nachträglich konfigurierbar sein, d.h., auch noch während der Laufzeit konfigurierbar sein.

Die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung der erfindungsgemäßen Pipeline sind miteinander elektronisch verschaltet, wobei die Vorverarbeitungsschaltung folgende grundlegende Funktionen realisiert:

Empfang von Daten, z.B. von Objektpunkten, zur Beschreibung einer zu rekonstruierenden und darzustellenden Szene über eine Eingangsschnittstelleneinheit,

Vorverarbeiten der empfangenen Daten der darzustellenden Szene, insbesondere ein definiertes Verarbeiten und Umwandeln der Daten in ein systemunabhängiges Format unter Einbeziehung von spezifischen, zur Darstellung der Szene erforderlichen Parameter, mittels einer Verarbeitungseinheit, und Ausgeben und Übermitteln der vorverarbeiteten und umgewandelten Daten an wenigstens eine Hologrammberechnungsschaltung über eine Ausgabeschnittstelleneinheit, wobei die Hologrammberechnungsschaltung folgende grundlegende Funktionen realisiert:

Empfang von von der Vorverarbeitungsschaltung vorverarbeiteten Daten über eine Eingangsschnittstelleneinheit,

Berechnen und Kodieren des Hologramms mittels einer Hologrammberechnungseinheit, und Übermitteln der Daten des berechneten Hologramms an die wenigstens eine räumliche Lichtmodulationseinrichtung über eine Ausgabeschnittstelleneinheit.

Die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung sind in einem Gesamtschaltkreis integriert, jedoch zur Laufzeit konfigurierbar, d.h. sie sind keiner spezifischen räumlichen Lichtmodulationseinrichtung zugeordnet. Mit anderen Worten, die Vorverarbeitungsschaltung wie auch die Hologrammberechnungsschaltung sind nicht einem bestimmten Typ von räumlicher Lichtmodulationseinrichtung zugedacht bzw. für einen definierten Typ entwickelt, sondern können durch entsprechende Konfiguration bei Inbetriebnahme an Ihre Umgebung (Art der räumlichen Lichtmodulationseinrichtung etc.) angepasst werden. Wenn nötig, können sie nachträglich neu konfigurierbar sein. Dies ermöglicht es, eine derartige Pipeline so auszugestalten, dass sowohl eindimensionale als auch zweidimensionale Hologramme in Echtzeit berechnet und ausgegeben werden können, und verschiedene Kodierungsarten und Ausgabemodi unterstützt werden können.

Allgemein ausgedrückt, die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung sind eigenständige bzw. separate Schaltungen, die derart miteinander in Verbindung stehen, dass mittels der Vorverarbeitungsschaltung die wenigstens eine Hologrammberechnungsschaltung ansteuerbar ist, die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung aber keiner spezifischen räumlichen Lichtmodulationseinrichtung und/oder holographischen Anzeigevorrichtung zugeordnet sind.

Weiterhin kann durch die erfindungsgemäße Pipeline mittels hoher Parallelität bei der Verarbeitung der Daten eine hohe Rechenleistung bei geringer Taktfrequenz gewährleistet werden. Dies ist wichtig insbesondere im Hinblick auf einen minimalen Stromverbrauch.

Als Vorteil ist auch die Skalierbarkeit der Pipeline für verschiedene Größen der wenigstens einen räumlichen Lichtmodulationseinrichtung und/oder Hologrammauflösungen und/oder Szenenauflösungen und/oder Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung durch eine variable Aktivierung der Berechnungspfade anzusehen. Die Pipeline enthält demnach Berechnungspfade, die deaktivierbar sind bzw. auch wieder aktivierbar sind.

Ein weiterer wichtiger Aspekt in Kombination mit einer erfindungsgemäßen generalisierten Implementierung der Hologrammberechnung ist somit die Skalierbarkeit. Eine Hologrammberechnungsschaltung kann somit mehrfach in Verbindung mit wenigstens einer räumlichen Lichtmodulationseinrichtung eingesetzt bzw. verwendet werden. Sind bestimmte Voraussetzungen, wie z.B. bezüglich des Seitenverhältnisses zumindest ähnlich gleicher Pixelpitch, erfüllt, kann ein und dieselbe Hologrammberechnungsschaltung auch in verschiedenen Produkten einer räumlichen Lichtmodulationseinrichtung eingesetzt werden. Der enorme Kostenfaktor zur Herstellung einer bisher bekannten Schaltung in Form eines ASICs könnte dafür ausschlaggebend sein. Kann der gleiche Typ von Schaltung somit mehrfach in einem Produkt oder in verschiedenen Produkten eingesetzt werden, kann das eine teure Entwicklung und Herstellung einer Schaltung zur Berechnung von Hologrammen pro Produkt einer räumlichen Lichtmodulationseinrichtung vermeiden. In ihrer Form kleiner ausgebildete Schaltungen, z.B. ASICs, im Vergleich zu einer in der Ausdehnung großen Schaltung, z.B. ASIC, haben außerdem den Vorteil, dass eine höhere Ausbeute in der Produktion erreicht werden kann. Die Entwicklung und Verifikation sind zudem ebenfalls weniger aufwendig.

Um den Stromverbrauch und die Stückzahl kostentechnisch hinsichtlich einer erfindungsgemäßen Hologrammberechnungsschaltung zu senken, können kleinere Prozessstrukturen angestrebt werden. Dies ist vor allem dann lohnenswert, wenn auch hohe Stückzahlen an Hologrammberechnungsschaltungen anvisiert werden, was durch die Generalisierung und Aufteilung in mehrere bzw. in wenigstens zwei Hologrammberechnungsschaltungen unterstützt wird.

Grundsätzlich ermöglicht das Vorsehen von wenigstens einer Hologrammberechnungsschaltungen auch eine Vermarktung des Designs der Hologrammberechnungsschaltung. Dies ermöglicht zum Beispiel einem Hersteller einer räumlichen Lichtmodulationseinrichtung die Anpassung an eigene Prozesse und Schnittstellen, und die Nutzung eigener bzw. für ihn geeigneter Herstellungsverfahren.

Insbesondere soll die Funktion der Hologrammberechnungsschaltung in Verbindung mit der US 2016/0132021 A1 sowie dem weiter unten aufgeführten Verfahren zur Hologrammnormalisierung gesehen werden, deren Inhalt hier vollumfänglich mit aufgenommen sein soll und deren offenbarte Verfahren zur Berechnung eines Hologramms, wie eingangs in diesem Dokument kurz beschrieben, mittels der erfindungsgemäßen Hologrammberechnungsschaltung durchgeführt werden kann.

Ferner wird die vorliegende Aufgabe der Erfindung auch durch ein Verfahren zur Berechnung eines Hologramms mit den Merkmalen gemäß des Anspruchs 34 gelöst.

Das erfindungsgemäße Verfahren ist zur Berechnung eines Hologramms zur Darstellung einer Szene mittels einer holographischen Anzeigevorrichtung, die wenigstens eine räumliche Lichtmodulationseinrichtung aufweist, vorgesehen, wobei die Berechnung des Hologramms mittels einer Vorverarbeitungsschaltung und wenigstens einer Hologrammberechnungsschaltung erfolgt.

Das erfindungsgemäße Verfahren verwendet zur Berechnung eines Hologramms einer darzustellenden vorzugsweise dreidimensionalen Szene zwei (oder mehr) eigenständige bzw. separate Schaltungen, eine Vorverarbeitungsschaltung und wenigstens eine Hologrammberechnungsschaltung.

Vorteilhafterweise kann dabei vorgesehen sein, dass die Vorverarbeitungsschaltung Daten, die nur einmalig bei der Vorverarbeitung zur Berechnung des Hologramms benötigt werden, verarbeitet und die wenigstens eine Hologrammberechnungsschaltung das zur Kodierung für die wenigstens eine räumliche Lichtmodulationseinrichtung vorgesehene Hologramm aus den durch die Vorverarbeitungsschaltung bereitgestellten Daten berechnet und an die wenigstens eine räumliche Lichtmodulationseinrichtung ausgibt.

Funktionalität, die nur einmal bei der Vorverarbeitung zur Berechnung eines Hologramms gebraucht bzw. benötigt wird, wird somit nur einmal implementiert. Daher wird diese Funktionalität in der separaten Vorverarbeitungsschaltung implementiert. Die Vorverarbeitungsschaltung führt hauptsächlich nur einfache Bildverarbeitung, wie beispielsweise die Veränderung und Verbesserung der Daten, die Anpassung der Daten an ein optisches System einer holographischen Anzeigevorrichtung, die Korrektion von Abbildungsfehlern usw. wie bereits oben beschrieben, durch und erfordert daher eine geringe Rechenleistung im Vergleich zur Rechenleistung der wenigstens einen Hologrammberechnungsschaltung, die die eigentliche Berechnung eines geforderten Hologramms vornimmt.

In einer Ausgestaltung der Erfindung kann eine Eingangsschnittstelleneinheit der Vorverarbeitungsschaltung Daten einer darzustellenden Szene in einem verschlüsselten Format empfangen, z.B. im Rahmen von Rechtemanagement, diese entschlüsseln und an eine Vorverarbeitungseinheit der Vorverarbeitungsschaltung übermitteln. Die Vorverarbeitungsschaltung empfängt somit die Daten einer darzustellenden vorzugsweise dreidimensionalen Szene, beispielsweise Daten von Objektpunkten einer Szene, über eine Eingangsschnittstelleneinheit und entschlüsselt diese verschlüsselten Daten. Die Eingangsschnittstelleneinheit kann ein standardisiertes Interface sein, z.B. ein DisplayPort, HDMI, eine bzw. mehrere Netzwerkschnittstellen oder eine beliebige andere Schnittstelle mit der erforderlichen Bandbreite. Die Daten der Szene können in verschiedenen Formaten geliefert werden, z.B. als dreidimensionale Punktwolke, als dreidimensionales Volumen oder als Zusammenstellung von gerasterten Bildern bzw. zweidimensionalen (2D) Matrizen einer oder mehrerer Ansichten aus einer oder mehreren Ebenen, d.h. Bilder aus Farbe und Tiefenmerkmalen, gegebenenfalls in mehreren Ebenen zur Realisierung von Transparenz bzw. Volumen in Hologrammen sind möglich. Beliebige andere Formate sind ebenfalls möglich, insbesondere auch klassische zweidimensionale Formate oder Stereo-Formate, die dann entsprechend durch die Vorverarbeitungsschaltung in ein dreidimensionales Format umgewandelt werden können. Die Auflösung der Daten der Szene ist flexibel, wobei jedoch das realisierte Produkt einer räumlichen Lichtmodulationseinrichtung oder einer holographischen Anzeigevorrichtung gegebenenfalls eine bestimmte maximale Auflösung zur Wiedergabe der Inhalte der vorzugsweise dreidimensionalen Szene realisiert.

Mittels der Vorverarbeitungseinheit der Vorverarbeitungsschaltung können dann die übermittelten Daten entsprechend der darzustellenden Szene erfindungsgemäß vorverarbeitet werden und die vorverarbeiteten Daten unter Berücksichtigung von spezifischen Parametern der wenigstens einen räumlichen Lichtmodulationseinrichtung in ein systemunabhängiges Format umgewandelt werden.

Die Vorverarbeitungseinheit vorverarbeitet die übermittelten Daten entsprechend definierten Parametern und Vorgaben und wandelt anschließend diese vorverarbeiteten Daten der darzustellenden Szene zur Berechnung eines Hologramms in ein generalisiertes, für die wenigstens eine nachfolgende Hologrammberechnungsschaltung verarbeitbares Format unter Anwendung von spezifischen Parametern der wenigstens einen räumlichen Lichtmodulationseinrichtung um. Diese spezifischen Parameter können beispielsweise u.a. Informationen zu Wellenlängen, zur Rasterung einer räumlichen Lichtmodulationseinrichtung, zu Auflösungen der Szene oder Hologramm, zu Abständen, z.B. zwischen einem Betrachter und der räumlichen Lichtmodulationseinrichtung, Korrekturtabellen und Korrekturparameter, um bestimmte Korrekturen, wie z.B. von Verzerrungen oder wellenlängenabhängigen Aberrationen, durchzuführen, Schnittstelleninformationen, Schnittstellenkonfigurationen und Schnittstellenparameter sein. Die Vorverarbeitungseinheit der Vorverarbeitungsschaltung kann verschiedene Vorverarbeitungen durchführen. Hierzu können z.B. eine Farbkorrektur und eine Positionskorrektur der resultierenden dargestellten Objektpunkte der Szene zählen. Die Vorverarbeitungen in den Daten können auch durchgeführt werden, um beispielsweise verschiedene Effekte eines in einer holographischen Anzeigevorrichtung vorgesehenen optischen Systems zu korrigieren. Auch unterschiedliche Korrekturen für jede Wellenlänge (Farbe) können in den Daten mittels der Vorverarbeitungseinheit durchgeführt werden, um wellenlängenabhängige Effekte im optischen System, wenn nötig, unterschiedlich zu kompensieren. Somit können allgemein betrachtet Abbildungsfehler der darzustellenden Szene durch die Vorverarbeitungseinheit korrigiert werden, wodurch auf Abbildungsfehler korrigierte Daten erzeugt werden.

Ferner kann auch vorgesehen sein, dass Sehfehler eines Auges eines Betrachters der darzustellenden Szene mittels der Vorverarbeitungseinheit durch virtuelles Verschieben, Drehen und/oder Verzerren der Szene korrigiert werden.

Es ist auch möglich, in der Vorverarbeitungsschaltung mittels der Vorverarbeitungseinheit eine nachträgliche Korrektur von Augen-Sehfehlern eines Betrachters der dargestellten Szene vorzunehmen. Hierzu werden die Daten in der Vorverarbeitungseinheit derart verarbeitet, dass die Objektpunkte der Szene in jeder Dimension individuell verschoben, gedreht und/oder verzerrt werden.

Besonders vorteilhaft kann sein, wenn die Auflösung, der Detailgrad und/oder die holographische Qualität der darzustellenden Szene unter Berücksichtigung einer Blickrichtung eines Auges des Betrachters durch die Vorverarbeitungseinheit derart angepasst wird, dass die dargestellte Szene in ihrem Randbereich mit einer reduzierten Auflösung, einem reduzierten Detailgrad und/oder einer reduzierten holographischen Qualität durch eine Hologrammberechnungseinheit der wenigstens einen Hologrammberechnungsschaltung berechnet wird.

Diese Vorgehensweise ist besonders vorteilhaft, wenn unter Anwendung von Eye-Tracking- Daten, d.h. bei einer Nachverfolgung der Blickrichtung wenigstens eines Auges eines Betrachters in Echtzeit, sogenanntes Foveated Rendering, umgesetzt wird. Hierbei wird die Auflösung, der Detailgrad und/oder die holographische Qualität der darzustellenden vorzugsweise dreidimensionalen Szene anhand der aktuellen und/oder vorhergesagten Blickrichtung eines Auges eines Betrachters angepasst. Im Randbereich der Fovea des Auges bzw. im Randbereich der dargestellten Szene kann die Auflösung, der Detailgrad und/oder die holographische Qualität der Szene reduziert werden, wodurch der Stromverbrauch in der wenigstens einen Hologrammberechnungsschaltung zur Berechnung des Hologramms der Szene beeinflusst und somit reduziert werden kann. Die Blickrichtung des Auges des Benutzers wird hierzu berechnet. Aufgrund von Verzögerungen im System aus Vorberechnung, Berechnung und Ausgabe des Hologramms zwischen Start der Berechnung des Hologramms und der anschließenden Darstellung des Hologramms auf der wenigstens einen räumlichen Lichtmodulationseinrichtung kann die Blickrichtungsbewegung des Auges des Betrachters der Szene entsprechend der Verzögerungszeit in der Zukunft vorhergesagt bzw. geschätzt werden.

In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann zudem vorgesehen sein, dass Okklusionsdaten der darzustellenden Szene an die Vorverarbeitungsschaltung übermittelt werden, wobei die Vorverarbeitungsschaltung die benötigte Information zum Generieren von Objektpunkten der Szene aus den übermittelten Okklusionsdaten extrahiert.

Weitere Funktionen der Vorverarbeitungseinheit oder allgemein betrachtet der Vorverarbeitungsschaltung sind die Steuerung von weiteren Komponenten wenigstens einer räumlichen Lichtmodulationseinrichtung und/oder holographischen Anzeigevorrichtung, in der Regel synchron zur Ausgabe der berechneten Hologramme auf der wenigstens einen räumlichen Lichtmodulationseinrichtung. Mit anderen Worten, steuerbare Komponenten einer holographischen Anzeigevorrichtung zur Darstellung der Szene können mittels der Vorverarbeitungsschaltung angesteuert werden, wobei die Steuerung der Komponenten synchron zur Ausgabe des berechneten Hologramms auf die wenigstens eine räumliche Lichtmodulationseinrichtung erfolgt.

Dazu zählen unter anderem die Ansteuerung einer Beleuchtungseinrichtung, insbesondere von wenigstens einer Lichtquelle bzw. eines Backlights, die Verarbeitung von Eye-Tracking-Daten, wie oben erläutert, und die Zuführung dieser Daten zu relevanten Komponenten, die Ansteuerung von Komponenten zur Lichtablenkung bzw. Nachführung von wenigstens einem Sichtbarkeitsbereich/Betrachterfenster, die Steuerung von aktiven optischen Elementen zur Modulation und Manipulation der Lichtwellen in der räumlichen Lichtmodulationseinrichtung.

Ferner kann die Vorverarbeitungsschaltung auch folgende Funktionen vornehmen. Beispielsweise kann die Vorverarbeitungsschaltung eine Umwandlung von zweidimensionalen (2D) Daten einer Szene in dreidimensionalen (3D) Daten einer Szene durchführen, d.h. eine sogenannte 2D/3D Konvertierung. Auch ist eine Generierung von Tiefendaten aus mehreren Ansichten einer dreidimensionalen Szene möglich. Zudem kann auch eine Generierung von zusätzlichen dreidimensionalen Daten zur Füllung von Schatten in der Szene aufgrund der holographischen Parallaxe vorgenommen werden, d.h. Erzeugung von Okklusions-Daten, wie oben bereits erwähnt. Diese Generierung kann insbesondere mit Hilfe von Punktwolke-artigen Daten einer dreidimensionalen Szene erfolgen oder wenn mehrere Bildebenen mit/ohne Transparenz vorliegen.

Eine weitere Aufgabe der Vorverarbeitungsschaltung ist die Verteilung der zu berechnenden Daten der darzustellenden vorzugsweise dreidimensionalen Szene an eine oder mehrere Hologrammberechnungsschaltung(en). Dies erfolgt über eine Datenschnittstelleneinheit. Hierfür können die mit der Vorverarbeitungseinheit der Vorverarbeitungsschaltung generierten Daten in ein systemunabhängiges Format unter Berücksichtigung von spezifischen Parametern der wenigstens einen räumlichen Lichtmodulationseinrichtung umgewandelt werden und über eine Ausgabeschnittstelleneinheit der Vorverarbeitungsschaltung an die wenigstens eine Hologrammberechnungsschaltung zur Berechnung eines Hologramms der darzustellenden Szene übermittelt werden.

Die spezifischen Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung, Daten und Programme zur Vorverarbeitung der empfangenen und darzustellenden Szene können der Vorverarbeitungsschaltung verschlüsselt übermittelt werden, wobei diese Daten, Parameter und Programme zuvor verschlüsselt auf einem nicht flüchtigen Speicher abgelegt werden können. Der nicht flüchtige Speicher kann extern oder intern, d.h. außerhalb oder innerhalb der Vorverarbeitungsschaltung, vorgesehen sein. Auf diese Weise ist ein fremder bzw. nicht autorisierter Zugriff von außerhalb nicht möglich bzw. wird erschwert.

Zum Erzeugen von definierten Signalen kann ein Timing-Controller in der Vorverarbeitungsschaltung vorgesehen bzw. eingesetzt werden. Die wenigstens eine räumliche Lichtmodulationseinrichtung und wenigstens ein dafür vorgesehener Source-T reiber zum T reiben der wenigstens einen räumlichen Lichtmodulationseinrichtung können somit über einen Timing- Controller der Vorverarbeitungsschaltung getaktet und gesteuert werden. Der Timing-Controller ist zudem auch ausgebildet, um weitere Komponenten und Schaltkreise anzusteuern. Auch können mit dem Timing-Controller die berechneten Daten der darzustellenden vorzugsweise dreidimensionalen Szene in die Pixel oder Pixelzellen der räumlichen Lichtmodulationseinrichtung übertragen werden. Die Hologrammberechnungsschaltungen, im Falle des Vorliegens von mehreren Hologrammberechnungsschaltungen, können dann entsprechend dieser Steuerung der räumlichen Lichtmodulationseinrichtung mittels des Timing-Controllers für einen reibungslosen und effizienten Betrieb synchronisiert werden.

In einer besonders vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass innerhalb der Vorverarbeitungsschaltung wenigstens eine Analyse, d.h. eine oder mehrere Analysen, der Daten der darzustellenden Szene für eine Hologrammnormalisierung durchgeführt wird.

Die Vorverarbeitungsschaltung ist vorteilhaft so ausgelegt, dass mittels dieser eine Hologrammnormalisierung, vorzugsweise in der Hologrammberechnungsschaltung, durchgeführt werden kann. Auf diese Weise wird die Normalisierung eines Hologramms nicht im Schritt der Berechnung des Hologramms mittels der Schaltung, die die Berechnung ausführt, d.h. der Hologrammberechnungsschaltung, durchgeführt, sondern kann von einer separaten Schaltung, hier der Vorverarbeitungsschaltung, durchgeführt werden, die nicht mit der direkten Berechnung eines Hologramms beauftragt ist. Dies hat den enormen Vorteil, dass die Schaltung zur Berechnung eines Hologramms, hier nun die erfindungsgemäße Hologrammberechnungsschaltung, keine sehr große Speicherkapazität mehr benötigt, um einen kompletten Datensatz eines Hologramms zwischenzuspeichern. Denn die Normalisierung eines Hologramms kann erfindungsgemäß ohne eine Zwischenspeicherung bzw. ohne einen Zwischenspeicher durchgeführt werden.

Die von der wenigstens einen Hologrammberechnungsschaltung separat ausgebildete Vorverarbeitungsschaltung führt spezielle und definierte Analysen anhand der Daten der darzustellenden vorzugsweise dreidimensionalen Szene zur Realisierung einer Hologrammnormalisierung im letzten Schritt der Hologrammberechnung innerhalb der Hologrammberechnungsschaltung, dem Kodieren bzw. Encoding, durch, um eine annähernd korrekte Hologrammnormalisierung zu ermöglichen. Hierzu benötigt somit die wenigstens eine Hologrammberechnungsschaltung keinen Zwischenspeicher, so dass diese Schaltung kostengünstiger und in ihrer Ausdehnung kleiner hergestellt werden kann, was eine kosteneffizientere Herstellung ermöglicht.

Eine Ermittlung von Hologrammnormalisierungsparametern zur Hologrammnormalisierung kann dabei in vorteilhafter Weise durch eine Analyse der an die Eingangsschnittstelleneinheit der Vorverarbeitungsschaltung übermittelten Daten erfolgen. Hierfür werden die folgenden Schritte vorgenommen:

Analyse einer Verteilung von Objektpunkten der Szene hinsichtlich ihrer Tiefe und ihrer lateralen Verteilung in einem Betrachtungsbereich,

- Analyse einer Helligkeitsverteilung der Objektpunkte in Kombination mit der jeweiligen Tiefe der Objektpunkte im Betrachtungsbereich, und Ermitteln einer Gesamtzahl der Objektpunkte.

Die Hologrammnormalisierung beruht folglich auf einer Analyse eines in die Vorverarbeitungsschaltung eingehenden Datenstroms, indem Merkmale der Verteilung von Objektpunkten im Betrachtungsbereich, der Helligkeitsverteilung der Objektpunkte im Betrachtungsbereich und die Gesamtzahl der Objektpunkte zur Ermittlung des Füllgrades der Szene beobachtet und bewertet werden. Diese Informationen können durch statistische Methoden analysiert und beispielsweise in Histogrammen abgelegt werden, um auf effiziente Art und Weise die relevanten Parameter zur Normalisierung ablesen zu können. Weitere statistische Daten zum Aufbau, der Verteilung und der Ausgestaltung der vorzugsweise dreidimensionalen Szene können zusätzlich ermittelt werden.

Durch Analyse der Veränderung der darzustellenden Szene von Frame zu Frame können Hologrammnormalisierungsparameter durch ein Analysemodul in der Vorverarbeitungsschaltung geschätzt und an ein Kodierungsmodul in der wenigstens einen Hologrammberechnungsschaltung übermittelt werden, welches diese geschätzten Hologrammnormalisierungsparameter auf die berechneten durchlaufenden Hologramm-Daten zur Normalisierung anwendet.

Das bedeutet, durch die Analyse der Veränderung der vorzugsweise dreidimensionalen Szene von Frame zu Frame kann die zu erwartende Veränderung der Hologrammnormalisierungsparameter geschätzt werden. Diese Schätzung wird an das Kodierungsmodul in der wenigstens einen Hologrammberechnungsschaltung übermittelt, welche die geschätzten Parameter zur Normalisierung auf die durchlaufenden Hologramm-Daten anwendet. Erfindungsgemäß wird somit das Hologramm nicht zwischengespeichert wie im Stand der Technik, sondern direkt im Durchlauf weiterverarbeitet. Gleichzeitig ermittelt das Kodierungsmodul den tatsächlich korrekten Wert der Hologrammnormalisierungsparameter anhand der durchlaufenden Daten der vorzugsweise dreidimensionalen Szene und gibt diesen Wert am Ende des Frames an das Analysemodul in der Vorverarbeitungsschaltung zurück. Mit anderen Worten, mittels der durchlaufenden berechneten Daten zur Hologrammkodierung können korrekte Werte der Hologrammnormalisierungsparameter durch das Kodierungsmodul ermittelt und an das Analysemodul in der Vorverarbeitungsschaltung zurückübermittelt werden. Dieses Analysemodul verwendet diesen korrekten gemessenen Wert des vergangenen Frames zur Fehlerbewertung und dynamischen Anpassung, dem sogenannten Feintuning, um die erneute Schätzung der Hologrammnormalisierungsparameter für den nächsten Frame zu verbessern.

Zusammengefasst lässt sich sagen, dass durch die Analyse der Veränderung der aktuellen vorzugsweise dreidimensionalen Szene und die Nutzung der bekannten korrekten Hologrammnormalisierungsparameter des letzten Frames der Szene eine Schätzung der neuen Hologrammnormalisierungsparameter für den aktuellen Frame der Szene erfolgt.

Beispielsweise können für die Schätzung der Normalisierungsparameter eines Hologramms generell folgende Zusammenhänge bzw. Regeln definiert werden:

• Wird die dreidimensionale Szene von Frame zu Frame in ihrer Helligkeit im Schnitt heller oder dunkler, muss die maximale Magnitude im Hologramm erhöht oder reduziert werden, da sich im Mittel die Magnituden im Hologramm erhöhen oder reduzieren.

• Zum vorherigen Zusammenhang muss zusätzlich jedoch noch die Helligkeitsdynamik der Szene berücksichtigt werden. Damit z.B. eine dunkle Szene entsprechend dunkel wiedergegeben werden kann, muss die maximale Magnitude im Hologramm entsprechend hoch definiert und festgelegt werden. Das bedeutet, das Verhältnis von Szenenhelligkeit zu maximaler Helligkeit muss mit bei der Wahl der maximalen Magnitude im Hologramm berücksichtigt werden und sollte etwa dem Verhältnis maximaler Magnitude des Hologramms zu eingestellter maximaler Magnitude betragen.

• Wird hingegen die vorzugsweise dreidimensionale Szene tiefer (ausgedehnter) bzw. komprimierter, d.h. wenn die Objektpunkte der dreidimensionalen Szene ihren Abstand zum Betrachter verändern, sollte bzw. muss die maximale Magnitude des Hologramms entsprechend erhöht oder reduziert werden.

Diese Regeln oder Algorithmen zur Steuerung der Normalisierung bilden nur ein Beispiel. Beliebige Varianten und Kombinationen davon sind daher möglich und werden abhängig von der Art und den Eigenschaften der wenigstens einen räumlichen Lichtmodulationseinrichtung, für die das berechnete und normalisierte Hologramm kodiert wird, festgelegt.

Die Anwendung von Methoden des maschinellen Lernens oder Künstliche Intelligenz (Kl) statt fest definierter Regeln ist ebenfalls eine bevorzugte Ausführungsform, indem im Rahmen eines Trainingsschritts für verschiedene vorzugsweise dreidimensionale Referenzszenen das zu erwartende Verhalten vorgegeben und somit trainiert wird, damit in der Phase der Anwendung der Kl bei neuen unbekannten dreidimensionalen Szenen gute Schätzwerte für die Normalisierung des Hologramms durch die Kl ermittelt werden. In dieser Ausführung der Erfindung wird auf Basis des trainierten Kl-Modells die Schätzung ausgeführt, ohne konkrete Regeln entworfen zu haben. Nach Anwendung der geschätzten Hologrammnormalisierungsparameter auf das Hologramm wird am Ende eines aktuellen Frames mit Hilfe der ermittelten tatsächlichen Hologrammnormalisierungsparameter ein Vergleich durchgeführt, wie gut die Schätzung war. Die geschätzten Hologrammnormalisierungsparameter und die korrekten Werte der Hologrammnormalisierungsparameter werden daher am Ende jeden Frames, d.h. nach einem kompletten Durchlauf des aktuell berechneten Hologramms, miteinander verglichen. Daraus resultierende mögliche Helligkeitsabweichungen in der Wiedergabe und Darstellung der vorzugsweise dreidimensionalen Szene können dann durch geringfügige Variation der Belichtungszeit durch die Beleuchtungseinrichtung bzw. einer Lichtquelle auf die räumliche Lichtmodulationseinrichtung noch ausgeglichen werden, da die Daten für die darzustellende vorzugsweise dreidimensionale Szene bisher nur in die räumliche Lichtmodulationseinrichtung eingeschrieben wurden, jedoch die Belichtung des für die räumliche Lichtmodulationseinrichtung kodierten Hologramms erst danach startet, um die Szene zu rekonstruieren. Für den Fall einer absolut falschen Schätzung der Hologrammnormalisierungsparameter kann vorübergehend auch die Lichtquelle der Beleuchtungseinrichtung, z.B. ein Laser, erst gar nicht eingeschaltet werden, um Falschdarstellungen der vorzugsweise dreidimensionalen Szene zu vermeiden. Dieser falsche Frame wird dann übersprungen, was für den Betrachter wie ein schwarzes Bild wirkt. Da nun der richtige Hologrammnormalisierungsparameter bekannt ist, werden die nachfolgenden Schätzungen der Hologrammnormalisierungsparameter wieder nahezu korrekt sein. Derartige Fälle können meist nur bei sehr abrupten Szenewechseln in den empfangenen vorzugsweise dreidimensionalen Szenen auftreten. Aufgrund der hohen Framerate von räumlichen Lichtmodulationseinrichtungen würde ein Weglassen bzw. Nichtdarstellen eines Frames (resultiert in ein Schwarzframe) kaum von einem Betrachter der rekonstruierten Szene wahrgenommen werden. Zumindest ist ein Schwarzframe in seiner Wahrnehmung durch den Betrachter deutlich weniger auffällig oder störend als ein falsch normalisiertes Hologramm, welches schlimmstenfalls wie ein Aufblitzen wirkt.

Wie aus der US 2016/0132021 A1 bekannt und auch oben beschrieben ist, werden Objektpunkte einer zu rekonstruierenden Szene jeweils in Subhologrammen auf einer räumlichen Lichtmodulationseinrichtung kodiert und zu einem Gesamthologramm überlagert. Um die Kodierung der Subhologramme zu vereinfachen, kann eine erfindungsgemäße reduzierte Szenepunktbeschreibung bzw. Objektpunktbeschreibung genutzt werden. Im Nachfolgenden wird hierfür die Bezeichnung reduzierte Objektpunktbeschreibung verwendet. Diese erfindungsgemäße reduzierte Objektpunktbeschreibung wird in der erfindungsgemäßen Vorverarbeitungsschaltung vorgenommen. Mit anderen Worten, die erfindungsgemäße Vorverarbeitungsschaltung ist derart ausgebildet, um eine reduzierte Objektpunktbeschreibung auszuführen bzw. vorzunehmen. Für eine derartige erfindungsgemäße reduzierte Objektpunktbeschreibung werden folgende Berechnungen für ein Phasenprofil eines Subhologramms eines Gesamthologramms durchgeführt. Dies kann, wenn dies vorteilhaft erscheint, in approximierter Form erfolgen.

Zuerst wird die Brennweite f entsprechend der Entfernung des Objektpunktes von der räumlichen Lichtmodulationseinrichtung, auf der der Objektpunkt als Subhologramm kodiert werden soll, berechnet:

wobei z der Abstand des Objektpunkts zur räumlichen Lichtmodulationseinrichtung ist, wobei z ein positiver Wert ist, wenn der Objektpunkt zwischen der räumlichen Lichtmodulationseinrichtung und einem Betrachter liegt, und d der Abstand des Betrachters zur räumlichen Lichtmodulationseinrichtung ist.

Danach wird die Phase eines jeden Pixels desSubhologramms wie folgt berechnet:

wobei A die Wellenlänge des verwendeten Lichts, r_xy der Radius des jeweiligen komplexen Subhologramm-Pixels vom Zentrum des Subhologramms, T o der Phasenoffset des Objektpunktes und f die oben berechnete Brennweite ist.

Daraus folgt, dass der Phasenverlauf mit der Brennweite f beschrieben werden kann anstelle des tatsächlichen Abstandes eines Betrachters zur räumlichen Lichtmodulationseinrichtung sowie zum Objektpunkt oder Szenepunkt. Zudem verschwinden durch diese Beschreibung die Nichtlinearitäten über den Tiefenbereich der Szene. Denn im Bereich weit hinter der räumlichen Lichtmodulationseinrichtung, vom Betrachter aus gesehen, ist der Einfluss von Objektpunktverschiebungen auf den Phasenverlauf im Subhologramm in der Tiefe sehr gering, während der Einfluss von Objektpunktverschiebungen auf den Phasenverlauf im Subhologramm im Bereich vor der räumlichen Lichtmodulationseinrichtung hingegen groß ist. Die Brennweite erlaubt somit eine effizientere Übertragung in digitaler Form verglichen mit der Ortsbeschreibung des Objektpunkts.

Angenommen wird hier eine reguläre äquidistante zweidimensionale Struktur der komplexen Hologrammpixel in der räumlichen Lichtmodulationseinrichtung. Bei dieser Struktur der Hologrammpixel werden diskrete Werte für die Pixel im Abstand der Pixel p_x und p_y der räumlichen Lichtmodulationseinrichtung berechnet. Werden diese Variablen nun normiert, wobei hier beispielsweise der horizontale Pixelpitch p_x, abgekürzt als p, verwendet werden kann, errechnet sich die Phase des Pixels mit dem normierten Radius R_xy, der normierten Brennweite F und der normierten Wellenlänge L:

mit folgender Formel:

Der normierte Radius R_xy ist dimensionslos, besitzt immer einen positiven Wert und variiert über die Fläche des Subhologramms. Sein Wert kann innerhalb der Subhologramm-Generierung fest einem diskreten Subhologramm-Pixel zugeordnet werden. Dieser kann auch fest in entsprechende Implementierungen der wenigstens einen Hologrammberechnungsschaltung einfließen, wodurch eine Reduktion der Komplexität der wenigstens einen Hologrammberechnungsschaltung ermöglicht und die Wiederverwendbarkeit bei variierten Einzelparametern, wie exakte Wellenlänge oder exakter Pixelpitch, erhöht werden kann.

Ist beispielsweise trotz eines variierten Pixelpitchs p das Seitenverhältnis der Pixelgeometrie zwischen zwei holographischen Anzeigevorrichtungen identisch, so dass der normierte Radius R_xy für ein diskretes Subhologramm-Pixel konstant ist, so würde dies einen beträchtlichen Teil wenigstens einer Hologrammberechnungsschaltung nicht beeinflussen. Derartige Vereinfachungen können ausgenutzt werden, so dass wenigstens eine Hologrammberechnungsschaltung mehrere holographische Anzeigevorrichtungen unterstützt, bei gleichzeitig hoher technisch und wirtschaftlicher Effizienz. Die Nutzung des tatsächlichen Pixelpitchs als Normierungsparameter p_x bei der Übertragung der normierten Brennweite ist nicht unbedingt nötig. Wenn dieser Wert nicht benutzt wird, dann ergibt sich immer noch der Vorteil einer effizienteren Übertragung zwischen der Vorverarbeitungsschaltung und der wenigstens einen Hologrammberechnungsschaltung. Wird hingegen der tatsächliche Pixelpitch als Normierungsparameter genutzt oder wird dieser in der wenigstens einen Hologrammberechnungsschaltung vor der Subhologrammkodierung auf den tatsächlichen Pixelpitch korrigiert, so kann die Zuordnung von Schaltungsteilen der wenigstens einen Hologrammberechnungsschaltung zum normierten Radius R_xy fest erfolgen, und die wenigstens eine Hologrammberechnungsschaltung würde trotz dieser festen Zuordnung mehrere holographische Anzeigevorrichtungen unterstützen.

Auf diese Weise verbleiben drei Parameter, welche die Phasenwerte für die Pixel eines Subhologramms eines Objektpunkts unabhängig von den Eigenschaften einer räumlichen Lichtmodulationseinrichtung beschreiben. Folgende drei Parameter bestimmen die Phasenwerte des Subhologramms:

- die normierte Brennweite F,

- die normierte Wellenlänge L, und

- ein Phasenoffset _odes Objektpunkts.

Die normierte Brennweite, als Wert F bezeichnet, ist dimensionslos aber vorzeichenbehaftet. Je nachdem, ob der Objektpunkt vom Betrachter aus gesehen vor oder hinter der räumlichen Lichtmodulationseinrichtung erzeugt bzw. rekonstruiert wird, weist der Wert F ein positives oder ein negatives Vorzeichen auf. Die Erzeugung des Objektpunkts kann mit der Abbildung eines parallelen Strahls durch ein konvexes oder konkaves Abbildungssystem verglichen werden. Subhologramme bilden derartige Linsen bzw. optische Elemente. Die normierte Brennweite F variiert die Tiefenebene des Objektpunkts im Betrachtungsbereich, in dem die vorzugsweise dreidimensionale Szene rekonstruiert und beobachtet werden kann. Die Singularität F = 0 wird jedoch vermieden.

Die normierte Wellenlänge, als Wert L bezeichnet, ist ebenfalls dimensionslos, jedoch immer positiv und variiert nur bei Veränderung der Belichtung der räumlichen Lichtmodulationseinrichtung.

Der Phasenoffset o eines Objektpunkts ist ein freier Parameter, welcher auf die Phase aller Pixel des Subhologramms addiert wird. Allgemein gesehen kann daher in einer Ausgestaltung der Erfindung vorgesehen sein, dass jeweils ein Objektpunkt der darzustellenden Szene in einem Subhologramm kodiert wird, wobei zur Beschreibung von Phasenwerten des Subhologramms eines Objektpunkts durch die Vorverarbeitungsschaltung folgende Parameter bestimmt und an die wenigstens eine Hologrammberechnungsschaltung zur Berechnung der Phase des Subhologramms des Objektpunkts der Szene übertragen werden: eine Brennweite oder Brechkraft, die abhängig von einer Tiefe des Objektpunkts im Betrachtungsbereich variiert, und ein Phasenoffset des Objektpunkts.

Vorteilhafterweise kann die Brennweite für die Beschreibung der Phasenwerte der Pixel des Subhologramms eines Objektpunkts als normierte Brennweite F = f/p oder deren Reziprokwert festgelegt werden, wobei f die Brennweite des Objektpunktsund und p eine Konstante ist, die vorzugsweise auf den Pixelpitch der wenigstens einen räumlichen Lichtmodulationseinrichtung festgelegt werden kann.

In der Praxis kann die Berechnungsformel zur Berechnung eines Phasenprofils eines Subhologramms eines Objektpunkts approximiert („Fresnel-Approximation“) werden, um die Komplexität der Berechnung der Phase zu verringern. Hierzu kann die Taylorreihenentwicklung verwendet werden, die bei einem Abbruch nach dem ersten Glied folgendes ergibt:

Nun kann der Wert F‘ = F * L = f * A/p² bzw.

eingeführt werden.

Der Wert F‘ soll hier als wellenlängen-normierte Brennweite bezeichnet werden, ist somit wie die normierte Brennweite F eine vorzeichenbehaftete dimensionslose Größe.

Vorteilhaft kann die Brennweite für die Beschreibung der Phasenwerte der Pixel des Subhologramms eines Objektpunkts in systemunabhängiger Form als wellenlängen-normierte Brennweite F' = fÄ/p² oder deren Reziprokwert festgelegt werden, wobei f die Brennweite des Objektpunkts, A die Wellenlänge des Lichts und p eine Konstante ist, die vorzugsweise auf den Pixelpitch der wenigstens einen räumlichen Lichtmodulationseinrichtung festgelegt werden kann.

Die wellenlängen-normierte Brennweite F‘ erlaubt nun, für den Fall der Verwendung einer approximierten Berechnung, die komplette Beschreibung des Phasenverlaufs des Subhologramms eines Objektpunkts, neben dem Phasenoffset _O.

Vorteilhafterweise kann die Phase des Subhologramms eines Objektpunkts der dreidimensionalen Szene nun mit der Formel:

mittels der wenigstens einen Hologrammberechnungsschaltung berechnet werden, wobei Rxy der auf den Pixelpitch normierte Radius eines jeden Pixels des Subhologramms von dessen Zentrum, F‘ die wellenlängen-normierte Brennweite des Objektpunkts und o der Phasenoffset des Objektpunkts ist.

Die wellenlängen-normierte Brennweite F‘ ist nun der einzige Parameter, welcher die relative Phasenverteilung innerhalb des Subhologrammes beeinflusst. Dies erlaubt eine weitere feste Verschaltung von Schaltungsteilen bzw. Berechnungseinheiten innerhalb der wenigstens einen Hologrammberechnungsschaltung bei gleichzeitiger Wiederverwendbarkeit der Hologrammberechnungsschaltung in verschiedenen holographischen Anzeigevorrichtungen. Hierbei können Parameter wie beispielsweise die Wellenlänge des Lichts, Abstände der Objektpunkte zum Betrachter oder Größe der Pixel variieren, was nur die wellenlängen-normierte Brennweite F‘ in ihrem Wert verändert, aber nicht die wenigstens eine Hologrammberechnungsschaltung.

Die Nutzung des tatsächlichen Pixelpitchs als Normierungsparameter p_x bei der Übertragung der wellenlängen-normierten Brennweite ist nicht unbedingt nötig. Wenn dieser Wert nicht benutzt wird, dann ergibt sich immer noch der Vorteil einer effizienteren Übertragung zwischen der Vorverarbeitungsschaltung und Hologrammberechnungsschaltung. Wird hingegen der tatsächliche Pixelpitch als Normierungsparameter genutzt oder wird dieser in der

Hologrammberechnungsschaltung vor der Subhologrammkodierung auf den tatsächlichen Pixelpitch korrigiert, so kann die Zuordnung von Schaltungsteilen der

Hologrammberechnungsschaltung zum normierten Radius R_xy fest geschehen, und die eine Hologrammberechnungsschaltung würde trotz dieser festen Zuordnung mehrere holographische Anzeigevorrichtungen unterstützen.

Eine Implementierung wenigstens einer Hologrammberechnungsschaltung, welche nur die oben beschriebenen reduzierten Parameter, vorzugsweise die wellenlängen-normierte Brennweite F‘, für die Beschreibung eines Objektpunkts der Szene an seiner Eingangsschnittstelleneinheit verwendet, besteht somit aus einer elektronischen Schaltung, welche unabhängig von den tatsächlichen spezifischen Parametern für eine räumliche Lichtmodulationseinrichtung realisiert wird. Somit kann diese erfindungsgemäße Hologrammberechnungsschaltung für verschiedene Typen von räumlichen Lichtmodulationseinrichtungen bei Vorsehen von verschiedenen Wellenlängen, verschiedenen Entfemungsbereichen und unterschiedlichem Pixelpitch angewandt werden. Auf diese Weise kann die Hologrammberechnungsschaltung auch für verschiedene holographische Anzeigevorrichtungen eingesetzt werden.

Die spezifischen Parameter der verwendeten räumlichen Lichtmodulationseinrichtung müssen somit nur der erfindungsgemäßen Vorverarbeitungsschaltung bekannt sein bzw. an diese übermittelt werden, welche die Objektpunkte der darzustellenden vorzugsweise dreidimensionalen Szene in die oben beschriebene reduzierte, unabhängige Objektpunktbeschreibung (systemunabhängiges Format) umwandelt und an die wenigstens eine Hologrammberechnungsschaltung überträgt. Mit anderen Worten, mittels der Vorverarbeitungsschaltung kann ein Objektpunkt der Szene als eine reduzierte Objektpunktbeschreibung generiert, in ein systemunabhängiges Format umgewandelt und an die wenigstens eine Hologrammberechnungsschaltung zur Berechnung der Phase des Subhologramms des Objektpunkts der dreidimensionalen Szene übertragen werden.

Die Nutzung der wellenlängen-normierten Brennweite F‘ oder auch der normierten Brennweite F auf der Schnittstelle zwischen der Vorverarbeitungsschaltung und der wenigstens einen Hologrammberechnungsschaltung erlaubt eine effizientere digitale Datenübertragung als bei der Ortsbeschreibung des Objektpunkts, da durch diese Beschreibung die Nichtlinearitäten über den Tiefenbereich der Szene verschwinden.

Selbstverständlich können die Werte bzw. Daten von F und F‘ auch in mathematisch abgeleiteter Form, z.B. durch Multiplikation mit Konstanten und/oder Übertragung des Reziprok-Wertes (d.h. einer Brechkraft anstatt einer Brennweite), und in verschiedenen digitalen Datenformaten an die wenigstens eine Hologrammberechnungsschaltung übertragen werden. Besonders vorteilhaft kann sein, wenn der Phasenwert von Pixeln des Subhologramms des Objektpunkts der Szene mit gleichem Abstand vom Zentrum des Subhologramms mit einem diesem Abstand fest zugeordneten Schaltungsteil der wenigstens einen Hologrammberechnungsschaltung berechnet wird. Auf diese Weise kann die wenigstens eine Hologrammberechnungsschaltung vereinfacht werden, was Kosten bei der Herstellung und dem Design sowie Energie bei ihrem Betrieb spart. Weiterhin kann dieselbe Hologrammberechnungsschaltung so auf einfache Weise für verschiedene holographische Anzeigevorrichtungen verwendet werden.

Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und/oder die beschriebenen Ausführungsbeispiele bzw. Ausgestaltungen miteinander zu kombinieren. Dazu ist einerseits auf die den nebengeordneten Patentansprüchen nachgeordneten Patentansprüche und andererseits auf die nachfolgende Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnungen zu verweisen, in denen auch im Allgemeinen bevorzugte Ausgestaltungen der Lehre erläutert werden. Die Erfindung wird dabei anhand der beschriebenen Ausführungsbeispiele prinzipmäßig erläutert, soll jedoch nicht auf diese beschränkt sein.

Die Figuren zeigen:

Fig. 1 : in einer graphischen Darstellung eine Vorrichtung zur Berechnung eines

Hologramms nach dem Stand der Technik;

Fig. 2: in einer graphischen Darstellung eine erfindungsgemäße Vorrichtung oder Pipeline zur Berechnung eines Hologramms;

Fig. 3: in einer graphischen Darstellung ein erfindungsgemäßes Verfahren zur

Normalisierung von Hologrammdaten;

Fig. 4: in einer graphischen Darstellung ein erfindungsgemäßes Verfahren zur

Umwandlung der Daten in ein systemunabhängiges Format; und

Fig. 5 prinzipmäßig eine erfindungsgemäße holographische Anzeigevorrichtung zur Rekonstruktion einer vorzugsweise dreidimensionalen Szene. In Fig. 2 ist in einer graphischen Darstellung eine erfindungsgemäße Vorrichtung zur Berechnung eines Hologramms dargestellt. Diese Vorrichtung in Fig. 2 stellt gleichzeitig auch eine Pipeline zur Echtzeit-Berechnung von Hologrammen dar. Die erfindungsgemäße Vorrichtung oder Pipeline weist eine Vorverarbeitungsschaltung 60 und wenigstens eine Hologrammberechnungsschaltung 70 auf. In dem gezeigten Ausführungsbeispiel gemäß Fig. 2 sind mehrere Hologrammberechnungsschaltungen 70, hier insgesamt vier in der Anzahl, vorgesehen, wobei die Anzahl der Hologrammberechnungsschaltungen 70 von der Ausdehnung einer räumlichen Lichtmodulationseinrichtung 80, im Nachfolgenden als SLM bezeichnet, in die ein Hologramm kodiert wird, abhängig sein kann, worauf später noch im Detail eingegangen wird. Grundsätzlich kann auch nur eine Hologrammberechnungsschaltung 70 vorgesehen sein. Die Vorverarbeitungsschaltung 60 wie auch die Hologrammberechnungsschaltung 70 sind jeweils als eigenständige bzw. separate Schaltungen realisiert. Sie können somit als eigenständige Schaltungen angesehen, hergestellt und vertrieben werden. Die Vorverarbeitungsschaltung 60 und die Hologrammberechnungsschaltung 70 können beide jedoch miteinander fest verbunden, beispielsweise verdrahtet, werden und bilden auf diese Weise eine Vorrichtung zur Berechnung eines Hologramms gemäß Fig. 2. Beide Schaltungen 60 und 70 können jeweils als Anwendungsfeld-programmierbare Logik-Gatter-Anordnung (FPGA) oder als anwendungsspezifische integrierte Schaltung (ASIC) implementiert bzw. ausgeführt sein. Im vorliegenden Ausführungsbeispiel sind die Schaltungen 60 und 70 jeweils als ASIC implementiert.

Die Vorverarbeitungsschaltung 60 steht über eine einfache benutzerdefinierte bzw. kundenspezifische Schnittstelle S mit den Hologrammberechnungsschaltungen 70 in Verbindung. Zur Erzeugung und Berechnung eines Hologramms, das dann auf den SLM 80 übertragen und für diesen kodiert wird, weist die Vorverarbeitungseinheit 60 eine Eingangsschnittstelleneinheit 61 , eine Verarbeitungseinheit 62 und eine Ausgabeschnittstelleneinheit 63 auf. Die Eingangsschnittstelleneinheit 61 empfängt Daten 64 von Objektpunkten einer in ein Hologramm zu berechnenden und kodierenden Szene, wobei hier von einer dreidimensionalen Szene ausgegangen wird. Es ist jedoch auch möglich, eine zweidimensionale Szene darzustellen. Die Eingangsschnittstelleneinheit 61 kann hierfür eine standardisierte Schnittstelle, z.B. eine oder mehrere Display-Port oder HDMI Schnittstellen, eine oder mehrere Netzwerkschnittstellen oder aber auch eine andere beliebige Schnittstelle mit der erforderlichen Bandbreite, aufweisen. Die Daten 64 der dreidimensionalen Szene können hierfür in verschiedenen Formaten bereitgestellt werden. Sie können beispielsweise als dreidimensionale Punktwolke, als dreidimensionales Volumen oder auch als Zusammenstellung von gerasterten Bildern bzw. zweidimensionalen (2D) Matrizen einer oder mehrerer Ansichten aus einer oder mehreren Ebenen in einem Betrachtungsbereich, d.h. Bilder in Farbdarstellung und Tiefe, gegebenenfalls in mehreren Ebenen zur Realisierung von Transparenz bzw. Volumen in Hologrammen ausgebildet sein. Es sind ebenso auch beliebige andere Formate möglich. Die Auflösung der Daten 64 ist flexibel, wobei jedoch ein vorliegender SLM, für den das berechnete Hologramm dann kodiert werden soll, gegebenenfalls eine bestimmte maximale Auflösung zur Wiedergabe und Rekonstruktion der dreidimensionalen Szene realisiert.

Die Daten 64, die die Vorverarbeitungsschaltung 60 verwendet, sowie Programme, die auf der Vorverarbeitungsschaltung 60 ausgeführt werden, werden über eine externe Daten-Schnittstelle der Vorverarbeitungsschaltung 60 verschlüsselt zugeführt. Diese Daten 64 und Programme sind zudem verschlüsselt auf einem externen, nicht flüchtigen Speicher 65 abgelegt. Die Vorverarbeitungsschaltung 60 verwendet eine Kombination aus fester Logik mit zur Laufzeit oder einmalig umschaltbaren Pfaden und wenigstens einen eingebetteten Prozessor mit wenigstens einem Prozessorkern, wobei auch mehrere Prozessoren oder Prozessorkerne verwendet werden können, auf denen ein oder mehrere Programm(e) und Module laufen, um alle geforderten Aufgaben zur Vorberechnung von Hologrammen durchzuführen. Eine Ausführung auch ohne die Verwendung von Programmen oder Prozessoren ist jedoch möglich.

Zudem entschlüsselt und verarbeitet die Eingangsschnittstelleneinheit 61 die empfangenen Daten 64 der dreidimensionalen Szene gemäß den Anforderungen der Verarbeitungseinheit 62 und leitet sie als Daten 64-1 an die Verarbeitungseinheit 62 weiter. Die Verarbeitungseinheit 62 verarbeitet diese Daten 64-1 dann nach definierten Anforderungen an ein zu berechnendes Hologramm. Das bedeutet, die Verarbeitungseinheit 62 führt verschiedene Vorverarbeitungen der an sie übermittelten Daten 64-1 durch. Hierzu kann beispielsweise die Korrektur von Abbildungsfehlern in der darzustellenden dreidimensionalen Szene zählen. Die Verarbeitungseinheit 62 kann auch so ausgebildet sein, dass durch diese sich auf eine darzustellende dreidimensionale Szene negativ auswirkende Effekte eines in einer holographischen Anzeigevorrichtung vorgesehenen optischen Systems korrigiert werden können. Beispielsweise kann mittels der Verarbeitungseinheit 62 eine Farbkorrektur und/oder eine Positionskorrektur der darzustellenden Objektpunkte der dreidimensionalen Szene vorgenommen werden, indem die Daten 64-1 derart vorverarbeitet werden, dass diese Korrektur dann in der Darstellung der Szene erfolgt. Es ist auch möglich, die Vorverarbeitungen der Daten 64-1 so auszulegen, dass unterschiedliche Korrekturen für jede Wellenlänge (Farbe) des Lichts, mit dem der SLM 80 dann zur Rekonstruktion der dreidimensionalen Szene beleuchtet wird, durchgeführt werden, um wellenlängenabhängige Effekte im optischen System der holographischen Anzeigevorrichtung, wenn nötig, unterschiedlich zu kompensieren. Zudem kann die Verarbeitungseinheit 62 auch Vorverarbeitungen für eine definierte Korrektur von Sehfehlern wenigstens eines Auges eines Betrachters der darzustellenden Szene vornehmen. Eine derartige nachträgliche Korrektur von Augen-Sehfehlern kann dabei derart durchgeführt werden, dass die Objektpunkte der dreidimensionalen Szene in jeder Dimension bzw. Richtung individuell verschoben, gedreht und/oder verzerrt werden.

Unter Anwendung von Eye-Tracking-Daten, d.h. zur Nachverfolgung von Betrachteraugen in Echtzeit, um z.B. zu erfahren, in welche Richtung der Betrachter gerade blickt oder welchen Teil der dreidimensionalen Szene der Betrachter in diesem Moment anvisiert bzw. anblickt, kann auch sogenanntes Foveated Rendering umgesetzt werden, indem die Auflösung der darzustellenden dreidimensionalen Szene anhand der aktuellen bzw. vorhergesagten Blickrichtung eines Auges des Betrachters angepasst wird. Hierzu kann vorteilhaft im Randbereich der Fovea des Auges die Auflösung, der Detailgrad und/oder die holographische Qualität der Szene reduziert werden, wodurch sich der Stromverbrauch zur Berechnung der Szene in der Hologrammberechnungsschaltung erheblich reduziert. In definierten Bereichen des Sichtfelds des Betrachters kann somit die Auflösung, der Detailgrad und/oder die holographische Qualität der dreidimensionalen Szene entsprechend angepasst werden. Vorteilhaft ist dabei, die Auflösung, den Detailgrad und/oder die holographische Qualität im Randbereich der dreidimensionalen Szene zu reduzieren. Die Blickrichtung des Auges des Betrachters wird hierzu berechnet. Aufgrund von Verzögerungen in den Schaltungen 60 und 70 zwischen Start der Berechnung und anschließenden Darstellung des Hologramms auf dem SLM 80, ist es notwendig, die Blickrichtungsbewegung des Auges des Betrachters entsprechend der Verzögerungszeit in der Zukunft vorherzusagen bzw. zu schätzen.

Die Vorverarbeitungsschaltung 60 übernimmt zudem auch die Steuerung von weiteren Komponenten des SLM 80, wobei die Steuerung in der Regel synchron zur Ausgabe der Hologramme auf dem SLM 80 erfolgt. Ebenso kann die Verarbeitungseinheit 62 der Vorverarbeitungsschaltung 60 weitere Funktionen übernehmen bzw. durchführen. Hierzu können beispielsweise eine Umwandlung von zweidimensionalen (2D) Szenedaten in dreidimensionale (3D) Szenedaten, d.h. eine sogenannte 2D/3D Konvertierung, eine Generierung von Tiefendaten aus mehreren Ansichten einer dreidimensionalen Szene oder auch eine Generierung von zusätzlichen dreidimensionalen Daten zur Füllung von Schatten aufgrund der holographischen Parallaxe (sog. Okklusions-Daten) zählen. Okklusions-Daten können insbesondere mit Hilfe von Punktwolke-artigen dreidimensionalen Szenedaten erzeugt werden oder wenn mehrere Bildebenen mit/ohne Transparenz vorliegen. Hierbei werden die Okklusionsdaten der Szene an die Vorverarbeitungsschaltung 60 übermittelt. Die Vorverarbeitungsschaltung 60 extrahiert sich dann die benötigte Information aus diesen Daten, um die Objektpunkte der Szene aus den übermittelten Okklusionsdaten generieren zu können.

Nachdem die Verarbeitungseinheit 62 die Daten 64-1 entsprechend vorverarbeitet bzw. verarbeitet hat, werden diese nun vorverarbeiteten und optional korrigierten Daten 64-2 der dreidimensionalen Szene anschließend in ein generalisiertes, für die nachfolgenden Hologrammberechnungsschaltungen 70 verarbeitbares Format bzw. in ein systemunabhängiges Format umgewandelt. Hierfür werden auch spezifische Parameter des SLM 80 bei der Umwandlung der Daten 64-2 miteinbezogen. Diese Parameter sind beispielsweise Informationen zu verwendeten Wellenlängen des auf den SLM 80 auftreffenden Lichts, die Rasterung des SLM 80, Auflösungen des SLM 80, zu Distanzen wie beispielsweise Abstände zwischen einem Betrachterauge eines Betrachters und des SLM 80, Korrekturtabellen und Korrekturparameter, um bestimmte Korrekturen z.B. von Verzerrungen oder wellenlängenabhängigen Aberrationen durchzuführen, Schnittstelleninformationen, Schnittstellenkonfigurationen und Schnittstellenparameter.

Die umgewandelten Daten 64-2 werden an die Ausgabeschnittstelleneinheit 63 übermittelt, die diese vorverarbeiteten Daten 64-2 zur Berechnung eines Hologramms an die einzelnen separaten Hologrammberechnungsschaltungen 70 mit einer niedrigen Bandbreite überträgt.

Wie in Fig. 2 erkennbar ist, werden hier vier Hologrammberechnungsschaltungen 70 eingesetzt, die der separaten Vorverarbeitungsschaltung 60 nachfolgen. Wie auch die Vorverarbeitungsschaltung 60 sind die Hologrammberechnungsschaltungen 70 jeweils als eigenständige bzw. separate Schaltungen ausgebildet und hier vorzugsweise als ASIC implementiert. Eine Implementierung der Hologrammberechnungsschaltungen 70 als FPGA ist ebenfalls möglich und könnte je nach Anzahl der verwendeten Hologrammberechnungsschaltungen bzw. Anzahl der herzustellenden Vorrichtungen (Stückzahlen) kostengünstiger sein. Wie bereits erwähnt, kann es vorteilhaft sein, nicht nur eine Hologrammberechnungsschaltung 70 in der Anzahl zu verwenden, sondern eine definierte Anzahl von mehreren Hologrammberechnungsschaltungen 70. Die vorteilhaft zu verwendende Anzahl an Hologrammberechnungsschaltungen 70 ergibt sich aus der erforderlichen Rechenleistung, die für das Hologramm benötigt wird, sowie der erforderlichen Bandbreite bei der Übertragung des Hologramms zum SLM 80. Die Rechenleistung wie auch die Bandbreite skalieren in der Regel auch mit der Größe bzw. Ausdehnung des SLM 80. Das bedeutet, je größer der SLM 80 in seiner Ausdehnung ist, desto vorteilhafter ist es, eine größere Anzahl an Hologrammberechnungsschaltungen 70 zu verwenden. Das Vorsehen von mehreren Hologrammberechnungsschaltungen 70 hat zudem den Vorteil der gleichmäßigeren Abführung der entstehenden Abwärme über mehrere kleine Punkte (Hotspots) anstatt einem großen Punkt bei nur einer Hologrammberechnungsschaltung 70 bei der Berechnung eines Hologramms. In Fig. 2 sind jeweils zwei Hologrammberechnungsschaltungen 70 parallel zueinander geschaltet, wobei die jeweils zwei Hologrammberechnungsschaltungen 70 in Reihe miteinander geschaltet sind bzw. eine Reihenschaltung bilden. Selbstverständlich sind auch andere Möglichkeiten der Anordnung der Hologrammberechnungsschaltungen zueinander und zum SLM möglich. Auf diese Weise sind jeweils zwei Hologrammberechnungsschaltungen 70 an zwei gegenüberliegenden Seiten des SLM 80 angeordnet, so dass von der Vorverarbeitungsschaltung 60 zwei getrennte Leitungen bzw. Übertragungsleitungen S mit der jeweils ersten in der Reihe vorgesehenen Hologrammberechnungsschaltung 70 verbunden sind. Die zweite in der Reihe vorgesehene Hologrammberechnungsschaltung 70 ist dabei über eine entsprechende Leitung mit der ersten Hologrammberechnungsschaltung 70 verbunden, wie aus Fig. 2 ersichtlich ist. Die Nähe der Hologrammberechnungsschaltungen 70 zum Rand des SLM 80 bzw. zu Source-Treibern 81 der räumlichen Lichtmodulationseinrichtung ermöglicht kurze Datenleitungen, was den Stromverbrauch bei den sehr hohen Datenraten wesentlich reduziert.

Die Hologrammberechnungsschaltungen 70 können sich so nahe den Anschlüssen des SLM 80 befinden. Es ist auch möglich, die Hologrammberechnungsschaltungen als Teil des SLM 80 in diesen zu integrieren. Hierbei können sie in der Nähe von Source-Treibern vorgesehen werden. Aktuelle Entwicklungen könnten auch den Anstoß geben, dass derartige Hologrammberechnungsschaltungen bzw. Schaltkreise direkt auf ein Substrat des SLM (Chip on glass) aufgebracht werden könnten.

Das Interface bzw. die Schnittstelle zum SLM 80 ist dabei flexibel ausgelegt und ermöglicht eine Anpassung der Datenrate, der Anzahl an Übertragungsleitungen und des zu verwendenden Protokolls. Dafür können in der Produktion des SLM 80 in Verbindung mit der/den Hologrammberechnungsschaltung(en) 70 die entsprechenden Datenpfade auf der Hologrammberechnungsschaltung 70 fest aktiviert bzw. konfiguriert werden. Dies kann einerseits zur Laufzeit bei der Initialisierung der Hologrammberechnungsschaltung 70 erfolgen oder aber über Konfigurationsbrücken (Antifuses) fest eingestellt werden.

Ein besonders hervorzuhebender Aspekt in Kombination mit der generalisierten Implementierung der Hologrammberechnung ist die Skalierbarkeit. Eine derartige Hologrammberechnungsschaltung 70 kann mehrfach innerhalb der Vorrichtung bzw. Pipeline gemäß Fig. 2 und somit auch mehrfach in einer holographischen Anzeigevorrichtung zur Darstellung von dreidimensionalen Szenen oder Objekten verwendet werden. Sind bestimmte Voraussetzungen, wie z.B. bezüglich des Seitenverhältnisses zumindest ähnlich gleicher Pixelpitch, erfüllt, kann ein und dieselbe Hologrammberechnungsschaltung auch in verschiedenen Produkten einer Vorrichtung gemäß Fig. 2 oder holographischen Anzeigevorrichtung eingesetzt werden. Vorteilhaft wäre dies insbesondere hinsichtlich der Herstellungskosten eines ASICs oder FPGAs, denn diese können enorm sein. Kann daher der gleiche Typ von ASIC oder FPGA mehrfach in einer Vorrichtung eingesetzt werden, würde dies eine teure Entwicklung und Herstellung einer erfindungsgemäßen Hologrammberechnungsschaltung pro Produkt bzw. Vorrichtung sparen. In ihrer Ausdehnung kleinere ASICs oder FPGAs im Vergleich zu einem in seiner Ausdehnung großen ASIC oder FPGA haben außerdem den wesentlichen Vorteil, dass eine höhere Ausbeute in der Produktion erreicht werden kann. Die Entwicklung und Tests sind somit außerdem weniger aufwendig.

Um den Stromverbrauch und die Stückzahl-Kosten hinsichtlich der Hologrammberechnungsschaltungen zu senken, können kleinere Prozessstrukturen angestrebt werden. Dies lohnt sich vor allem dann, wenn auch hohe Stückzahlen an Hologrammberechnungsschaltungen anvisiert werden, was durch die Generalisierung und das Vorsehen von mehreren Hologrammberechnungsschaltungen unterstützt wird.

Grundsätzlich ermöglicht das Vorsehen einer eigenständigen Hologrammberechnungsschaltung und einer eigenständigen bzw. separaten von der direkten Hologrammberechnung getrennten Vorverarbeitungsschaltung vorteilhaft eine Vermarktung des Hologrammberechnungsschaltung- Designs sowie auch des Vorverarbeitungsschaltung-Designs. Dies wiederum ermöglicht zum Beispiel einem Hersteller eines SLM oder einer holographischen Anzeigevorrichtung die Anpassung an eigene Prozesse und Schnittstellen, sowie die Nutzung eigener bzw. für ihn geeigneter Herstellungsverfahren.

Mittels der Hologrammberechnungsschaltungen 70 werden nun nach der Übermittlung der vorverarbeiteten Daten 64-2 der dreidimensionalen Szene durch die Vorverarbeitungsschaltung 60 Daten für ein gefordertes Hologramm einer Szene, das aus berechneten und überlagerten Subhologrammen von Objektpunkten der Szene gebildet wird, berechnet. Die gemäß Fig. 2 jeweils in Reihe geschaltete erste Hologrammberechnungsschaltung 70 zieht sich dabei jeweils nur die benötigten Daten für die Berechnung eines Teils des Hologramms aus den übermittelten Daten zur Berechnung des Hologramms heraus und überträgt die restlichen Daten an die zweite in der Reihe vorgesehene Hologrammberechnungsschaltung 70, die diese Daten nutzt, um ebenfalls einen Teil des Gesamthologramms bzw. Hologramms zu berechnen. Der Datenstrom wird unverändert durch die Hologrammberechnungsschaltungen 70 geleitet, wobei sich jede Hologrammberechnungsschaltung 70 nur die Daten zur Berechnung des Hologramms herauszieht, die sie benötigt. Hierzu weist die Hologrammberechnungsschaltung 70 gemäß der vergrößerten Darstellung in Fig. 2 eine Eingangsschnittstelleneinheit 71 , eine Hologrammberechnungseinheit 72 und eine Ausgabeschnittstelleneinheit 73 auf. Die Eingangsschnittstelleneinheit 71 empfängt die von der Vorverarbeitungsschaltung 60 vorverarbeiteten und in einem systemunabhängigen Format vorliegenden Daten 64-2 der dreidimensionalen Szene und übermittelt diese an die Hologrammberechnungseinheit 72 zur Berechnung eines Hologramms. In der Hologrammberechnungseinheit 72 erfolgt dabei die Berechnung des Hologramms, die Akkumulation der einzelnen Subhologramme von Objektpunkten der dreidimensionalen Szene zum Gesamthologramm der Szene und die Kodierung des Hologramms, wie in Fig. 2 dargestellt. Das berechnete Hologramm der dreidimensionalen Szene bzw. die berechneten Daten des zu kodierenden Hologramms werden dann an die Ausgabeschnittstelleneinheit übertragen, die diese Daten danach an Source-Treiber 81 ausgibt. Die Source-Treiber 81 wiederum übertragen die Daten des kodierten Hologramms an den SLM 80, in dem dann das berechnete und kodierte Hologramm der geforderten dreidimensionalen Szene eingeschrieben wird.

Hierzu kann in der Vorverarbeitungsschaltung 60 ein Timing-Controller 66 (TCON) implementiert sein. Dieser Timing-Controller 66 dient dabei zur Erzeugung von Steuersignalen, Synchronisierungssignalen und/oder Taktsignalen, so dass der SLM 80 und die Source-Treiber 71 direkt getaktet und gesteuert werden können. Ferner kann der Timing-Controller 66 auch allgemeine Komponenten und Schaltkreise, um den SLM 80 zu treiben und die Daten in die Pixel bzw. Pixelzellen des SLM 80 zu übertragen, ansteuern. Die Hologrammberechnungsschaltungen 70 werden entsprechend dieser Steuerung des SLM 80 für den reibungslosen Betrieb des SLM 70 synchronisiert.

Ferner übernimmt die Vorverarbeitungsschaltung 60 die gesamtheitliche Steuerung des SLM 80 und Komponenten einer holographischen Anzeigevorrichtung, die den SLM 80 aufweist, d.h. aller elektronischen bzw. steuerbaren Komponenten wie z.B. wenigstens eine Lichtquelle einer Beleuchtungseinrichtung oder eine Einrichtung zum Ablenken von Licht. Auch eine Steuerung von aktiven optischen Elementen zur Modulation und Manipulation von auftreffenden Lichtwellen in dem SLM 80 oder der holographischen Anzeigevorrichtung mit dem Ziel eines synchronen und effizienten Betriebes und Zusammenspiels ist mittels der Vorverarbeitungsschaltung 60 möglich.

Die Vorverarbeitungsschaltung 60 führt nur spezielle Aufgaben durch, in denen viele Funktionen bezüglich Kalibrierung des SLM 80, Korrekturen des Hologramms und Anpassung/Aufwertung der dreidimensionalen Szene implementiert sind. Denn pro SLM-Produkt oder holographischer Anzeigevorrichtung wird wenigstens eine Vorverarbeitungsschaltung 60 zur Ansteuerung der wenigstens einen Hologrammberechnungsschaltung 70 benötigt. Durch verschiedene Maßnahmen, wie geschützte nicht extern auslesbare Daten-Bereiche (EEPROMs), die extern zwar beschreibbar, aber nur intern lesbar sind, in der Vorverarbeitungsschaltung 60 können Verschlüsselungstechnologien, z.B. TSL oder SSL, eingesetzt werden, um eine gegenseitige Authentifikation von Hologrammberechnungsschaltung 70 und Vorverarbeitungsschaltung 60 zum Zwecke einer Echtheitsprüfung zwischen diesen beiden Schaltungen 60 und 70 zu implementieren und Übertragungskanäle zu verschlüsseln. Hierzu können private Schlüssel im geschützten Bereich der Vorverarbeitungsschaltung 60 abgelegt werden, die zur Entschlüsselung der Endgeräte-Parameter und Programme auf dem externen (oder internen) nicht flüchtigen Speicher 65 erforderlich sind. Die Vorverarbeitungsschaltung 60 und die Hologrammberechnungsschaltung(en) 70 können sich auf diese Weise gegenseitig authentifizieren, um jeweils ihre Echtheit zu beweisen. Würde nun beispielsweise diese Authentifizierung fehlschlagen, könnte die jeweilige Schaltung, Vorverarbeitungsschaltung 60 und/oder Hologrammberechnungsschaltung 70, in einen speziellen Ungültigkeits-Modus versetzt werden. Dies könnte sich dahingehend auswirken, dass z.B. eine entsprechende Information im SLM 80 eingeblendet wird, der Betrieb des SLM oder einer holographischen Anzeigevorrichtung eingestellt oder auch die dargestellte dreidimensionale Szene mit einer deutlich reduzierten Qualität dargestellt wird. Dies sind jedoch nur einige Beispiele, wobei selbstverständlich auch andere Möglichkeiten eines Ungültigkeits-Modus möglich sind.

In Fig. 3 ist ein Ablauf eines Verfahrens zur Normalisierung von Hologrammen dargestellt. Gemäß dem Stand der Technik ist eine Zwischenspeicherung eines Hologramms notwendig, um eine Normalisierung der komplexwertigen Daten der dreidimensionalen Szene im Rahmen des Kodierungsschrittes vorzunehmen, um die Darstellung der Daten auf begrenzt auflösenden Pixeln des SLM zu ermöglichen. Hierfür wird der komplette Datensatz, d.h. das komplette Hologramm in voller Werteauflösung benötigt, um die Hologrammnormalisierungsparameter zu bestimmen, bevor die Normalisierung auf diskrete Werte ausgeführt werden kann. Hierfür kann das Hologramm in einem externen Speicher zwischengespeichert oder in der Schaltung selbst gespeichert werden. Dies Methoden sind jedoch teuer und besitzen einen hohen Stromverbrauch.

Um diese Nachteile zu umgehen, wird beim erfindungsgemäßen Verfahren der Zwischenspeicher vermieden, so dass die Komplexität und der Stromverbrauch der Hologrammberechnungsschaltung 70 um Größenordnungen reduziert werden kann. Das erfindungsgemäße Verfahren zur Normalisierung eines Hologramms gemäß Fig. 3 wird somit ohne eine Zwischenspeicherung des kompletten Datensatzes bzw. des kompletten Hologramms durchgeführt.

Unter einer Hologramm-Normalisierung im Sinne der Anmeldung kann als einfachste Methode z.B. die Festlegung eines maximalen Betrages aller komplexen Zahlen im Hologramm betrachtet werden, d.h. z.B. eine maximale Magnitude/Amplitude. Andere Normalisierungsverfahren oder Kombinationen davon sind ebenso möglich, wie z.B. eine Normalisierung basierend auf Histogrammen.

Zur Realisierung der Hologrammnormalisierung im letzten Schritt in der Hologrammberechnung, dem Kodieren bzw. Encoding, führt die Vorverarbeitungsschaltung 60 spezielle Analysen, d.h. wenigstens eine Analyse, anhand der Daten der dreidimensionalen Szene durch, um eine annähernd korrekte Hologrammnormalisierung zu ermöglichen, ohne dass die Hologrammberechnungsschaltung 70 einen Zwischenspeicher oder einen externen Speicher benötigt. Eine absolut exakte Normalisierung der Hologrammdaten ist jedoch nicht erforderlich, da eine kleine Abweichung nur zu einer kaum wahrnehmbaren Schwankung in der dargestellten Helligkeit des Hologramms führen würde. Das Verfahren zur Normalisierung eines Hologramms beruht auf einer Analyse des eingehenden Datenstroms. Bei dieser Analyse werden die folgend beschriebenen Merkmale der dreidimensionalen Szene beobachtet. Es wird die Verteilung der Objektpunkte der dreidimensionalen Szene hinsichtlich ihrer Tiefe und ihrer lateralen Verteilung im Betrachtungsbereich analysiert bzw. bewertet. Ferner wird die Helligkeitsverteilung der Objektpunkte in Kombination mit der jeweiligen Tiefe der Objektpunkte im Betrachtungsbereich analysiert bzw. bewertet. Außerdem wird die Gesamtzahl der Objektpunkte der dreidimensionalen Szene ermittelt, um den Füllgrad der Szene im Betrachtungsbereich zu bestimmen. Diese Informationen können jeweils durch statistische Methoden analysiert und untersucht werden. Die analysierten Informationen können beispielsweise in Histogrammen abgelegt werden, um effizient die relevanten Parameter zur Normalisierung eines Hologramms ablesen zu können. Die Analysierung von weiteren statistischen Daten der dreidimensionalen Szene ist selbstverständlich möglich. Durch die Analyse der Veränderung der dreidimensionalen Szene von Frame zu Frame kann die zu erwartende Veränderung der Hologrammnormalisierungsparameter geschätzt werden. Diese geschätzten Hologrammnormalisierungsparameter durch die Vorverarbeitungsschaltung 60 werden an ein Kodierungsmodul in der Hologrammberechnungsschaltung 70 übermittelt, welches die geschätzten Parameter zur Normalisierung auf die durchlaufenden Hologramm-Daten anwendet. Bei diesem Verfahren gemäß Fig. 3 wird somit das berechnete Hologramm nicht in der Hologrammberechnungsschaltung 70 oder einem externen Speicher zwischengespeichert, sondern direkt im Durchlauf weiterverarbeitet. Gleichzeitig ermittelt das Kodierungsmodul den tatsächlich korrekten Wert der Hologrammnormalisierungsparameter anhand der durchlaufenden Daten des Hologramms und gibt diesen Wert am Ende des vorliegenden Frames an ein Analysemodul 91 in der Vorverarbeitungsschaltung 60 zurück. Dieses Analysemodul 91 verwendet diesen korrekt gemessenen Wert des vergangenen Frames zur Fehlerbewertung und dynamischen Anpassung, dem sogenannten Feintuning, der Hologrammnormalisierungsparameter, um die erneute Schätzung für den nächsten Frame zu verbessern.

Auf diese Weise kann durch eine Analyse der Veränderung der aktuellen dreidimensionalen Szene und einer Nutzung der bekannten korrekten Hologrammnormalisierungsparameter des letzten Frames eine Schätzung der neuen Normalisierungsparameter für das Hologramm für den aktuellen Frame erfolgen.

Für die Schätzung der Normalisierungsparameter für ein Hologramm können generell folgende Zusammenhänge bzw. Regeln definiert werden. Hierzu zählen beispielsweise:

• Wird die dreidimensionale Szene oder Abfolge von Szenen bei ihrer Darstellung von Frame zu Frame in ihrer Lichtstärke im Schnitt heller oder dunkler, sollte die maximale Magnitude erhöht oder reduziert werden, da sich im Mittel die Magnituden im Hologramm erhöhen oder reduzieren.

• Zusätzlich sollte jedoch noch die Helligkeitsdynamik der Szene berücksichtigt werden. Damit beispielsweise eine in ihrer Lichtstärke dunkle Szene entsprechend auch dunkel wiedergegeben werden kann, sollte die maximale Magnitude im Hologramm entsprechend hoch festgelegt werden, d.h. das Verhältnis von Szenenhelligkeit zu maximaler Helligkeit sollte mit bei der Wahl der maximalen Magnitude berücksichtigt werden und sollte etwa dem Verhältnis maximaler Magnitude des Hologramms zu eingestellter maximaler Magnitude betragen. • Wird hingegen die dreidimensionale Szene tiefer, d.h. ausgedehnter, bzw. komprimierter, was bedeutet, dass die Objektpunkte ihren Abstand zum Betrachter verändern, sollte die maximale Magnitude des Hologramms entsprechend erhöht oder reduziert werden.

Diese Regeln oder auch Algorithmen für die Schätzung der Normalisierungsparameter für ein Hologramm bilden jedoch nur Beispiele, wobei beliebige Varianten und Kombinationen möglich sind. Diese können abhängig von der Art und den Eigenschaften eines eingesetzten SLM festgelegt werden.

Methoden des maschinellen Lernens oder Künstliche Intelligenz (Kl) statt fest definierter Regeln können ebenfalls angewandt werden. Hierbei kann im Rahmen eines Trainingsschritts für verschiedene dreidimensionale Referenzszenen das zu erwartende Verhalten vorgegeben und daher trainiert werden, damit in der Phase der Anwendung der Kl bei neuen unbekannten dreidimensionalen Szenen gute Schätzwerte für die Normalisierung des Hologramms durch die Kl ermittelt werden. In dieser Ausführung wird auf Basis des trainierten Kl-Modells die Schätzung der Normalisierungsparameter ausgeführt, ohne konkrete Regeln entworfen zu haben.

Nach Anwendung der geschätzten Hologrammnormalisierungsparameter wird am Ende des aktuellen Frames, d.h. nach einem kompletten Durchlauf des aktuell berechneten Hologramms, mit Hilfe der ermittelten tatsächlichen Hologrammnormalisierungsparameter zwischen diesen beiden Parametern ein Vergleich durchgeführt, wie gut die Schätzung war. Daraus resultierende mögliche Helligkeitsabweichungen in der Wiedergabe der darzustellenden dreidimensionalen Szene können dann durch geringfügige Variation der Belichtungszeit des SLM durch die wenigstens eine Lichtquelle einer Beleuchtungseinrichtung noch ausgeglichen werden, da die Daten bisher nur in den SLM eingeschrieben wurden, aber die Belichtung des Hologramms im SLM erst danach vorgenommen wird. Für den Fall einer absolut falschen Schätzung der Hologrammnormalisierungsparameter kann vorübergehend beispielsweise die Lichtquelle, z.B. ein Laser, gar nicht erst in Betrieb genommen bzw. eingeschaltet werden, um Falschdarstellungen der dreidimensionalen Szene zu vermeiden. Ein derart falscher Frame kann auf diese Weise übersprungen werden, so dass dieser Frame dann für einen Betrachter wie ein schwarzes Bild wird. Da durch die Berechnung der Hologrammnormalisierungsparameter nun exakte Hologrammnormalisierungsparameter bekannt sind, sind die nachfolgenden Schätzungen der Hologrammnormalisierungsparameter im dargestellten Kreislauf gemäß Fig. 3 wieder nahezu korrekt. Derartige Fälle von Falschdarstellungen treten meist nur bei sehr abrupten Szenewechseln in den empfangenen dreidimensionalen Szenen auf. Aufgrund der hohen Framerate von SLMs würde ein Weglassen eines Frames, d.h. eines Schwarzframes, von einem Betrachter der dargestellten dreidimensionalen Szene kaum wahrgenommen werden. Zumindest ist ein Schwarzframe für einen Betrachter deutlich weniger auffällig oder störend als ein falsch normalisiertes Hologramm, was wie ein Aufblitzen wirken kann.

Im Folgenden wird ein detaillierterer Ablauf des Verfahrens zur Normalisierung eines Hologramms anhand von Fig. 3 beschrieben. Die Vorverarbeitungsschaltung 60, die den Hauptteil der Normalisierung eines Hologramms durchführt, weist das Analysemodul 91 auf, mit dem die Normalisierung eines Hologramms durchgeführt wird. Für eine Normalisierung eines Hologramms liegen nun aktuelle Daten einer darzustellenden dreidimensionalen Szene für einen ersten Frame vor, wie dies im linken oberen Bereich des Analysemoduls 91 zu erkennen ist. Aus diesen Daten werden die für die Bestimmung von Normalisierungsparametern für die Normalisierung des zu dieser Szene zugehörigen Hologramms geforderten Daten extrahiert bzw. herausgezogen. Hierbei wird der in das Analysemodul 91 eingehende Datenstrom hinsichtlich der oben erwähnten Merkmale der dreidimensionalen Szene analysiert, d.h. z.B. durch Bestimmung der Objektpunkte der Szene hinsichtlich ihrer Tiefe, Helligkeit, Farbe und ihrer lateralen Verteilung im Betrachtungsbereich usw.. Die oben erwähnten zu analysierenden Merkmale der Szene sollen hier selbstverständlich ebenso gelten und auch angegeben sein, ohne dass diese hier nochmal im Detail genannt werden sollen. Diese extrahierten Merkmale der dreidimensionalen Szene bzw. die extrahierten Daten werden daraufhin in Histogrammen bzw. einem Speicher abgelegt, damit die relevanten Parameter der Daten einfach und effizient abgelesen bzw. herausgezogen werden können. Zudem werden diese Daten für einen nachfolgenden Frame in einem weiteren Speicher abgelegt, so dass diese Daten als Daten eines letzten bzw. vorherigen Frames in die Bestimmung der Hologrammnormalisierungsparameter für eine Szene eines nachfolgenden Frames miteingehen können. Die extrahierten gespeicherten Merkmale werden nun für eine Schätzung der Normalisierungsparameter für das Hologramm der dreidimensionalen Szene herangezogen. Nach der Schätzung der Hologrammnormalisierungsparameter liegen dann aktuelle geschätzte Hologrammnormalisierungsparameter vor, die an ein Kodierungsmodul 92 in einer oder mehrerer Hologrammberechnungsschaltungen 70 übertragen werden, wie in Fig. 3 dargestellt ist. Das Kodierungsmodul 92 wendet dann diese geschätzten Hologrammnormalisierungsparameter zur Normalisierung auf die durchlaufenden, d.h. nicht an irgendeinem Ort gespeicherten, Hologramm- Daten an. Das bedeutet, das Hologramm wird somit nicht zwischengespeichert, sondern direkt im Durchlauf weiterverarbeitet. Zudem ermittelt das Kodierungsmodul 92 beim Durchlauf des Hologramms den tatsächlich korrekten Wert der Hologrammnormalisierungsparameter anhand der durchlaufenden Daten. Am Ende des Frames wird dieser korrekte Wert der Hologrammnormalisierungsparameter wieder zurück an das Analysemodul 91 der Vorverarbeitungsschaltung 60 übermittelt. Nach der Anwendung der geschätzten Hologrammnormalisierungsparameter auf das durchlaufende Hologramm werden im Analysemodul 91 die geschätzten Hologrammnormalisierungsparameter und die berechneten korrekten Werte der Hologrammnormalisierungsparameter miteinander verglichen und ermittelt wie gut die Schätzung der Hologrammnormalisierungsparameter gewesen ist. Die daraus resultierenden Abweichungen, wie beispielsweise Helligkeitsabweichungen in der Wiedergabe der dreidimensionalen Szene, können dann über ein Feintuning, z.B. durch Variation der Belichtungszeit des SLM durch eine Lichtquelle einer Beleuchtungseinrichtung ausgeglichen oder beseitigt werden. Dies ist möglich, da die Daten des normalisierten Hologramms zwar bereits in den SLM übertragen und eingeschrieben wurden, jedoch eine Belichtung zur Rekonstruktion der dreidimensionalen Szene noch nicht erfolgt ist. Auch könnte die Lichtquelle überhaupt nicht zur Beleuchtung des SLM eingeschaltet werden, sollte die Abweichung derart groß sein, dass die dreidimensionale Szene falsch rekonstruiert bzw. dargestellt wird.

Nach der Übermittlung der korrekten Normalisierungsparameter für das Hologramm der dreidimensionalen Szene an das Analysemodul 91 gehen diese Hologrammnormalisierungsparameter des vorhergehenden Frames einer dreidimensionalen Szene in die Schätzung der Hologrammnormalisierungsparameter für den nächsten oder nachfolgenden Frame mit ein. In diese Schätzung für den nächsten Frame gehen ebenfalls die extrahierten Daten bzw. Merkmale der im nächsten Frame darzustellenden dreidimensionalen Szene, die wieder im Histogramm oder Speicher hinterlegt werden, sowie die Daten bzw. Merkmale der vorherigen dreidimensionalen Szene mit ein. Die geschätzten Hologrammnormalisierungsparameter werden wieder an das Kodierungsmodul 92 übertragen und auf die durchlaufenden Hologramm-Daten angewandt. Gleichzeitig ermittelt das Kodierungsmodul 92 den korrekten Wert der Hologrammnormalisierungsparameter, so dass danach beide Werte, d.h. die geschätzten und korrekt berechneten Werte, miteinander verglichen werden und wenn notwendig über Feintuning die Abweichungen abgeschwächt oder beseitigt werden. Durch die Analyse der Veränderung der aktuellen darzustellenden dreidimensionalen Szene und der Nutzung der korrekten Hologrammnormalisierungsparameter des letzten Frames der Szene erfolgt auf diese Weise eine Schätzung der neuen Hologrammnormalisierungsparameter für den aktuellen Frame.

Für nachfolgende Frames bzw. dazustellende dreidimensionale Szenen wird wie beschrieben vorgegangen, um eine Normalisierung eines Hologramms vorzunehmen. Wie in der Hologrammberechnungsschaltung 70 in Fig. 3 zu erkennen ist, erfolgt in dieser die Hologrammberechnung, wodurch ein Hologramm erzeugt bzw. geschaffen wird. Dieses Hologramm wird an das Kodierungsmodul 92 übertragen, in dem auf das durchlaufende Hologramm die Hologrammnormalisierungsparameter angewandt werden. Auf diese Weise wird ein kodiertes, normalisiertes Hologramm erzeugt, das in den SLM 80 eingeschrieben wird.

In Fig. 4 ist ein Verfahren dargestellt, mit dem die in der Vorverarbeitungsschaltung verarbeiteten oder erzeugten Daten der darzustellenden dreidimensionalen Szene in ein systemunabhängiges Format bzw. ein dimensionsloses Format umgewandelt werden können.

Wie beispielsweise aus der US 2016/0132021 A1 bekannt ist, werden Objektpunkte einer zu rekonstruierenden dreidimensionalen Szene mittels einer holographischen Anzeigevorrichtung in Subhologrammen auf einem SLM kodiert. Um die einzelnen Subhologramme der Objektpunkte zu erzeugen, wird für jedes Pixel des SLM, in die das Subhologramm kodiert wird, die Phase und die Amplitude berechnet, mit welcher das zur Darstellung der dreidimensionalen Szene verwendete Licht durch den SLM moduliert wird. Die Phase ergibt sich hierbei insbesondere aus Parametern wie der Entfernung bzw. dem Abstand eines darzustellenden Objektpunkts vom SLM, der Wellenlänge und dem Abstand der Pixel (Pixelpitch). Im Anschluss an die Berechnung der polaren Koordinaten Amplitude und Phase wird ein Rechenschritt durchgeführt, nämlich die Transformation der Phase und der Amplitude in den kartesischen Raum mit Real- und Imaginärwerten. Dies ermöglicht die Akkumulation bzw. die Überlagerung des berechneten Subhologramms mit anderen Subhologrammen im Gesamthologramm.

Auf die weiteren Grundlagen zur Hologrammberechnung mit Subhologrammen soll hier nicht weiter eingegangen werden. Diese sind bekannt, beispielsweise aus der US 2016/0132021 A1.

Für die Umwandlung der vorverarbeiteten Daten in der Vorverarbeitungsschaltung in ein systemunabhängiges Format wird eine reduzierte Objektpunktbeschreibung verwendet. Hierfür wird ein Phasenprofil eines Subhologramms eines Objektpunkts wie folgt berechnet, wenn notwendig sogar in approximierter Form.

Nachdem Daten von einzelnen Objektpunkten der darzustellenden dreidimensionalen Szene mit ihren Entfernungen z zum SLM in der Vorverarbeitungsschaltung vorliegen, wird gemäß Fig. 4 die Brennweite f eines Subhologramms entsprechend der Entfernung seines darzustellenden Objektpunkts in der Szene berechnet:

wobei z der Abstand des Objektpunkts zum SLM mit positiven Werten bei der Darstellung des Objektpunkts zwischen dem SLM und einem Betrachter der Szene, und d der Abstand des Betrachters zum SLM ist. Somit geht der Abstand des Objektpunkts zum SLM in die Berechnung der Brennweite f mit ein, wie in Fig. 4 dargestellt.

Danach wird die Phase eines jeden Pixels des Subhologramms berechnet mit:

wobei A die Wellenlänge des verwendeten Lichts, r_xy der Radius des jeweiligen komplexen Subhologramm-Pixels vom Zentrum des Subhologramms und T o der Phasenoffset des Objektpunkts ist.

Hierbei kann festgestellt werden, dass der tatsächliche Abstand eines Betrachters zum SLM sowie zum Objektpunkt für den Phasenverlauf des Subhologramms eines Objektpunkts irrelevant ist, wenn die Brennweite bekannt ist. Die Nichtlinearitäten über den Tiefenbereich des Betrachtungsbereichs, in dem die dreidimensionale Szene dargestellt werden kann, wie die Erkenntnis, dass vom Betrachter der Szene aus gesehen weit hinter dem SLM der Einfluss von Objektpunktverschiebungen auf den Phasenverlauf im Subhologramm in der Tiefe sehr gering ist, während der Einfluss von Objektpunktverschiebungen auf den Phasenverlauf im Subhologramm vor dem SLM hingegen groß sind, werden ebenfalls irrelevant.

Werden die Variablen nun normiert, wobei hier vorzugsweise der Pixelpitch, beispielsweise der horizontale Pixelpitch px, hier nun als p abgekürzt, oder auch ein anderer Wert verwendet werden kann, errechnet sich die Phase des Pixels mit dem normierten Radius R_xy, der normierten Brennweite F und der normierten Wellenlänge L:

mit folgender Formel:

Der normierte Radius R_xy ist ein dimensionsloser Wert, der immer positiv ist und über die Fläche des Subhologramms variiert. Er bemisst den Abstand eines Pixels auf dem Subhologramm vom Zentrum des Subhologramms aus. Sein Wert kann innerhalb der Generierung des Subhologramms fest einer Gruppe von diskreten Subhologramm-Pixeln mit gleichem oder ähnlichem Radius zugeordnet werden. Der Wert RXY kann auch als feste Größe in entsprechende Implementierungen der wenigstens einen Hologrammberechnungsschaltung einfließen, wodurch eine Reduktion der Komplexität der wenigstens einen Hologrammberechnungsschaltung ermöglicht und die Wiederverwendbarkeit bei variierten Einzelparametern wie exakt verwendete Wellenlänge oder exakter Pixelpitch erhöht wird.

Auf diese Weise bleiben nun nur noch drei Parameter, die den Phasenverlauf des Subhologramms eines Objektpunkts der dreidimensionalen Szene unabhängig von den Eigenschaften eines verwendeten SLMs beschreiben. Diese drei Parameter sind: die normierte Brennweite F, dessen Wert dimensionslos ist, jedoch vorzeichenbehaftet. Das bedeutet, das Vorzeichen ist davon abhängig, ob der Objektpunkt vom Betrachter aus gesehen vor oder hinter dem SLM erzeugt wird, beispielsweise in das Subhologramm eine konvexe oder konkave Linsenfunktion eingeschrieben ist. Zudem variiert der Wert der normierten Brennweite F je nach Tiefenebene des Objektpunkts im Betrachtungsbereich. Die Singularität F = 0 wird jedoch vermieden. die normierte Wellenlänge L, die ebenfalls dimensionslos, aber immer positiv ist. Der Wert der normierten Wellenlänge L variiert jedoch nur bei Variierung bzw. Änderung der Belichtung des SLM., und der Phasenoffset T o des Objektpunkts.

Vorteilhaft ist es, die oben angegebene Berechnungsformel für die Phase zu approximieren, um die Komplexität der Berechnung der Phase zu verringern. Die Taylorreihenentwicklung mit Abbruch nach dem ersten Glied ergibt:

Nun kann eine wellenlängen-normierte Brennweite F‘ eingeführt werden, mit:

F' = F L = ^f-₂

Die wellenlängen-normierte Brennweite F‘ ist somit wie die normierte Brennweite F eine vorzeichenbehaftete dimensionslose Größe. Sie kann nun gemäß Fig. 4 für jedes Subhologramm der einzelnen Objektpunkte der dreidimensionalen Szene berechnet werden. Wie in Fig. 4 erkennbar ist, gehen hierfür die Wellenlänge A des verwendeten Lichts, d.h. die Farbe, in der die dreidimensionale Szene dargestellt werden soll, und der Pixelpitch des SLM mit in die Berechnung ein.

Diese Parameter, d.h. die verwendete Wellenlänge A zur Darstellung der dreidimensionalen Szene, der Pixelpitch des SLM wie auch der Abstand d des Betrachters zum SLM werden dann bei der Hologrammkodierung mittels der wenigstens einen Hologrammberechnungsschaltung nicht mehr benötigt.

Die wellenlängen-normierte Brennweite F‘ erlaubt nun, für den Fall der Nutzung der approximierten Berechnung der Phase und unter Einbeziehung des Phasenoffsets _O, die komplette Beschreibung des Phasenverlaufs des Subhologramms eines Objektpunkts.

Diese Daten in Form einer reduzierten Objektpunktbeschreibung liegen nun als ein systemunabhängiges Format in der Vorverarbeitungsschaltung vor und werden zur Berechnung des Hologramms an die wenigstens eine Hologrammberechnungsschaltung übermittelt bzw. übertragen. Mittels der wenigstens einen Hologrammberechnungsschaltung wird nun die Phase des Subhologramms eines Objektpunkts bzw. eines Hologramms berechnet mit der Formel:

Die wellenlängen-normierte Brennweite F‘ ist daher der einzige Parameter, der die relative Phasenverteilung innerhalb des Subhologramms beeinflusst. Diese Tatsache erlaubt eine starke Vereinfachung der Schaltungsteile bzw. Berechnungseinheiten innerhalb der wenigstens einen Hologrammberechnungsschaltung, da für einen Radius nur eine Division mit der wellenlängennormierten Brennweite und die Addition mit dem Phasenoffset genutzt werden. Wird ein normierter Radius R_xy einem Schaltungsteil bzw. Berechnungseinheit innerhalb der wenigstens einen Hologrammberechnungsschaltung fest zugeordnet, kann auch der Faktor R_xy ² bei der Schaltungserstellung festgelegt werden, was eine starke Vereinfachung der wenigstens einen Hologrammberechnungsschaltung bedeuten kann.

Gleichzeitig erhöht die wellenlängen-normierte Brennweite F‘ eine mögliche Wiederverwendbarkeit der Hologrammberechnungsschaltung in verschiedenen holographischen Anzeigevorrichtungen bei einer Variation von Parametern, wie beispielsweise der verwendeten Wellenlänge, der Abstände der Szene und des SLM zum Betrachter oder der Seitenverhältnisse der Pixel im SLM. Gleichzeitig erhöht die wellenlängen-normierte Brennweite F‘ die Effizienz der Übertragung, da die Vorteile der Brennweiten-skalierten Beschreibung gelten. Die wellenlängen-normierte Brennweite F‘ stellt somit eine maximal systemunabhängige Beschreibung des Phasenverlaufs eines Subhologramms eines Objektpunkts der dreidimensionalen Szene dar bei gleichzeitigen Optimierungsmöglichkeiten in der Hologrammberechnungsschaltung. Der Phasenwert der Pixel des Subhologramms kann nun mit Hilfe vieler ähnlich ausgebildeter Schaltungsteile der wenigstens einen Hologrammberechnungsschaltung berechnet werden, wobei die Schaltungsteile jeweils einem normierten Radius R_xy oder normierten Abstand der Pixel vom Zentrum des Subhologramms zugeordnet sind und deren Radius oder Abstand effizient als Konstante festgelegt werden kann. Diese einzelnen Schaltungsteile beinhalten nun nur noch die Division einer Konstanten mit der wellenlängen-normierten Brennweite F‘ sowie die Addition mit dem Phasenoffset _O.

Eine Implementierung der wenigstens einen Hologrammberechnungsschaltung, welche nur die oben genannten reduzierten Parameter in Form eines systemunabhängigen Formats an ihrer Eingangsschnittstelleneinheit verwendet, vor allem die wellenlängen-normierte Brennweite F‘, besteht somit aus einer elektronischen Schaltung, die unabhängig von den spezifischen Parametern für einen SLM realisiert werden kann und somit für verschiedene Typen von SLMs mit verschiedenen Wellenlängen, verschiedenen Entfernungsbereichen zwischen der Szene, dem Betrachter und dem SLM und verschiedenem Pixelpitch anwendbar ist. Auf diese Weise ist es möglich, dass die Hologrammberechnungsschaltung für verschiedene SLMs und verschiedene holographische Anzeigevorrichtungen eingesetzt werden kann.

Die Nutzung des tatsächlichen Pixelpitchs als Normierungsparameter p bei der Übertragung der normierten Brennweite ist nicht unbedingt nötig. Wenn dieser Wert nicht benutzt wird, dann ergibt sich immer noch der Vorteil einer effizienteren Übertragung zwischen der Vorverarbeitungsschaltung und Hologrammberechnungsschaltung. Wird hingegen der tatsächliche Pixelpitch als Normierungsparameter genutzt oder wird dieser in der wenigstens einen Hologrammberechnungsschaltung vor der Subhologrammkodierung auf den tatsächlichen Pixelpitch korrigiert, so kann die oben beschriebene Zuordnung von Schaltungsteilen der wenigstens einen Hologrammberechnungsschaltung zum normierten Radius R_xy fest erfolgen, und die wenigstens eine Hologrammberechnungsschaltung würde trotz dieser festen Zuordnung mehrere holographische Anzeigevorrichtungen unterstützen.

Die spezifischen Parameter des SLM müssen daher nur der Vorverarbeitungsschaltung übermittelt werden, die die Daten der Objektpunkte der dreidimensionalen Szene in die beschriebene reduzierte, unabhängige Objektpunktbeschreibung bzw. in das systemunabhängige Format umwandelt und an die wenigstens eine Hologrammberechnungsschaltung überträgt. Die Nutzung der wellenlängen-normierten Brennweite F‘ oder auch der normierten Brennweite F auf der Schnittstelle zwischen der Vorverarbeitungsschaltung und der wenigstens einen Hologrammberechnungsschaltung erlaubt eine effizientere digitale Datenübertragung als bei der Ortsbeschreibung des Objektpunkts, da durch diese Beschreibung die Nichtlinearitäten über den Tiefenbereich der Szene verschwinden.

Selbstverständlich können die Werte bzw. Daten von F und F‘ auch in mathematisch abgeleiteter Form, z.B. durch Multiplikation mit Konstanten und/oder Übertragung des Reziprok-Wertes, d.h. einer Brechkraft anstatt einer Brennweite, und in verschiedenen digitalen Datenformaten an die wenigstens eine Hologrammberechnungsschaltung übertragen werden.

Eine holographische Anzeigevorrichtung 100 zur Rekonstruktion bzw. Darstellung einer dreidimensionalen Szene ist in Fig. 5 prinzipmäßig in einer Draufsicht dargestellt.

Die holographische Anzeigevorrichtung 100 weist eine Beleuchtungseinrichtung, die eine Lichtquelle 101 zum Aussenden von im Wesentlichen kohärentem Licht, ein optisches System 102, das wenigstens ein optisches Element aufweist, und einen SLM 103 als lichtmodulierendes optisches Element auf. In den SLM 103, der zur Lichtmodulation Pixel aufweist, wird mittels einer Vorrichtung 104 ein Hologramm kodiert. Durch Beleuchtung des SLM 103 mit dem im Wesentlichen kohärenten Licht wird das Licht mit der Information der darzustellenden dreidimensionalen Szene durch das Hologramm moduliert, so dass eine dreidimensionale Szene rekonstruiert wird.

Des Weiteren weist die holographische Anzeigevorrichtung 100 die Vorrichtung 104 auf, die eine Vorverarbeitungsschaltung 105 und wenigstens eine Hologrammberechnungsschaltung 106, wie weiter oben beschrieben und in den Figuren 2 bis 4 dargestellt, aufweist. Die Vorverarbeitungsschaltung 105 und die wenigstens eine Hologrammberechnungsschaltung 106 sind als eigenständige bzw. separate Schaltungen ausgebildet und bilden somit als Kombination die Vorrichtung 104. Sie können jedoch auch für sich als alleinstehende eigenständige Schaltungen ausgebildet sein, die zusammen keine Vorrichtung bilden. Diese Schaltungen 105 und 106 weisen somit eine Reihe von Funktionen auf und sind eingerichtet zur Berechnung und Kodierung eines computergenerierten Hologramms einer dreidimensionalen Szene und zur Bereitstellung von entsprechenden Steuersignalen für die wenigstens eine Lichtquelle 101 , den SLM 103 und in einer Variante, in der diese regelbar ist, für das optische System 102, wie zu den Figuren 2 bis 4 beschrieben. Zu diesem Zwecke ist die Vorrichtung 104 mit diesen Komponenten über Kommunikationswege 107 verbunden.

Die holographische Anzeigevorrichtung 100 weist zudem eine Betrachterebene 108 auf. Diese Betrachterebene 108 ist jedoch keine physisch vorhandene feste Ebene. Sie ist vielmehr virtuell und ihr Abstand zum SLM 103 kann mit dem Abstand, den ein Auge 109 eines Betrachters zum SLM 103 aufweist, variieren. In dieser Betrachterebene 108 ist ein Sichtbarkeitsbereich oder Betrachterfenster 110 definiert, der/das ebenfalls virtuell ist. Der Betrachter kann eine erzeugte rekonstruierte dreidimensionale Szene 111 im Betrachtungsbereich, der sich zwischen der Betrachterebene 108 und dem SLM 103 und darüber hinaus erstrecken kann, betrachten, wenn sein Auge 109 am Ort des Betrachterfensters 110 ist und er durch dieses hindurchblickt.

Dabei kann die dreidimensionale Szene 111 zwischen der Betrachterebene 108 und dem SLM 103, für den das Hologramm kodiert ist, rekonstruiert werden. Die dreidimensionale Szene kann jedoch auch von der Betrachterebene 108 aus gesehen hinter dem SLM 103 dargestellt werden und sichtbar sein. Auch ist es möglich, dass sich eine dreidimensionale Szene über den gesamten Bereich, also zwischen der Betrachterebene 108 und dem SLM 103 wie auch hinter dem SLM 103 erstreckt.

Die Vorrichtung 104 ist nun ausgebildet bzw. eingerichtet, ein erfindungsgemäßes Verfahren wie oben beschrieben auszuführen, mit dem die Kodierung des SLM 103 mit dem computergenerierten Hologramm durch Verarbeiten von nur einmalig bei der Vorverarbeitung zur Berechnung des Hologramms benötigten Daten der darzustellenden dreidimensionalen Szene mittels einer Vorverarbeitungsschaltung und der eigentlichen Berechnung des Hologramms mittels der durch die Vorverarbeitungsschaltung bereitgestellten Daten durch wenigstens eine Hologrammberechnungsschaltung erfolgt. Hierbei stellt gemäß Fig. 4 die Vorverarbeitungsschaltung 105 die vorverarbeiteten Daten in einem systemunabhängigen Format der wenigstens einen Hologrammberechnungsschaltung 106 zur Verfügung, wie durch das Verfahren zu Fig. 4 offenbart ist. Zudem wird mittels der Vorverarbeitungsschaltung 105 eine Normalisierung des Hologramms durchgeführt, wie zu Fig. 3 beschrieben.

Die Erfindung soll nicht auf die hier dargestellten Ausführungsbeispiele beschränkt sein. Kombinationen der Ausführungsbeispiele, soweit möglich, sollen ebenfalls mitabgedeckt sein. Abschließend sei noch ganz besonders darauf hingewiesen, dass die vorstehend beschriebenen Ausführungsbeispiele lediglich zur Beschreibung der beanspruchten Lehre dienen, sich diese jedoch nicht auf die Ausführungsbeispiele beschränken soll.

Claims

Vorverarbeitungsschaltung für wenigstens eine Hologrammberechnungsschaltung, aufweisend:

- eine Eingangsschnittstelleneinheit zum Empfang von Daten einer darzustellenden Szene,

- eine Verarbeitungseinheit zur definierten Verarbeitung der empfangenen Daten und zur Umwandlung der Daten in ein systemunabhängiges Format unter Einbeziehung von spezifischen, zur Darstellung der Szene erforderlichen Parameter, und

- eine Ausgabeschnittstelleneinheit zur Ausgabe und zur Übermittlung der umgewandelten Daten an wenigstens eine Hologrammberechnungsschaltung. Vorverarbeitungsschaltung nach Anspruch 1 , dadurch gekennzeichnet, dass die Vorverarbeitungsschaltung als Anwendungsfeld-programmierbare Logik-Gatter- Anordnung (FPGA) oder als anwendungsspezifische integrierte Schaltung (ASIC) implementiert ist. Vorverarbeitungsschaltung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die der Vorverarbeitungsschaltung zugeführten Daten, Parameter und Programme in einem verschlüsselten Format vorliegen. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit zur Korrektur von Abbildungsfehlern in der Darstellung der Szene ausgebildet ist. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit zur Korrektur von Abbildungsfehlern oder zur Korrektur von sich auf eine darzustellende Szene negativ auswirkenden Effekten eines in einer holographischen Anzeigevorrichtung vorgesehenen optischen Systems ausgebildet ist. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit derart ausgebildet ist, dass bei Verwendung von Eye-Tracking-Daten in Verbindung mit Foveated Rendering die Auflösung, der Detailgrad und/oder die holographische Qualität der darzustellenden Szene anhand einer Blickrichtung eines Auges eines Betrachters in definierten Bereichen eines Sichtfelds des Betrachters anpassbar ist. Vorverarbeitungsschaltung nach Anspruch 6, dadurch gekennzeichnet, dass mittels der Verarbeitungseinheit die Daten der Szene derart bearbeitet sind, dass die Auflösung, der Detailgrad und/oder die holographische Qualität der Szene in ihrem Randbereich reduziert ist.

8. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit zur Steuerung von steuerbaren Komponenten wenigstens einer räumlichen Lichtmodulationseinrichtung oder einer holographischen Anzeigevorrichtung ausgebildet ist.

9. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Verarbeitungseinheit eine Kombination aus einer festen Logik mit zur Laufzeit umschaltbaren Pfaden oder zur Laufzeit einmalig umschaltbaren Pfaden und wenigstens einem Prozessoreingesetzt ist.

10. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Timing-Controller zur Erzeugung von Steuersignalen und/oder Synchronisierungssignalen vorgesehen ist.

11. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit zur Durchführung von Analysen der Daten der darzustellenden Szene ausgebildet ist, um eine Hologrammnormalisierung auszuführen.

12. Vorverarbeitungsschaltung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Skalierbarkeit der Vorverarbeitungsschaltung für verschiedene Größen der wenigstens einen räumlichen Lichtmodulationseinrichtung und/oder Hologrammauflösungen und/oder Szenenauflösungen und/oder Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung durch eine variable Aktivierung von Berechnungspfaden.

13. Vorrichtung zur Berechnung eines Hologramms zur Darstellung einer Szene mittels einer holographischen Anzeigevorrichtung, die wenigstens eine räumliche Lichtmodulationseinrichtung aufweist, aufweisend: eine Vorverarbeitungsschaltung nach einem der Ansprüche 1 bis 12, und

- wenigstens eine Hologrammberechnungsschaltung zur Berechnung eines Hologramms und zur Kodierung des Hologramms für die wenigstens eine räumliche Lichtmodulationseinrichtung.

14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die wenigstens eine Hologrammberechnungsschaltung als Anwendungsfeld-programmierbare Logik- Gatter-Anordnung (FPGA) oder als anwendungsspezifische integrierte Schaltung (ASIC) implementiert ist.

15. Vorrichtung nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die wenigstens eine Hologrammberechnungsschaltung aufweist: eine Eingangsschnittstelleneinheit zum Empfang von von der Vorverarbeitungsschaltung verarbeiteten Daten, eine Hologrammberechnungseinheit zur Berechnung und Kodierung des Hologramms, und eine Ausgabeschnittstelleneinheit zur Übermittlung der Daten des berechneten Hologramms an die wenigstens eine räumliche Lichtmodulationseinrichtung.

16. Vorrichtung nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass die wenigstens eine Hologrammberechnungsschaltung als Teil der wenigstens einen räumlichen Lichtmodulationseinrichtung ausgebildet ist oder direkt auf einem Substrat der wenigstens einen räumlichen Lichtmodulationseinrichtung implementiert ist.

17. Vorrichtung nach einem der Ansprüche 13 bis 16, dadurch gekennzeichnet, dass wenigstens zwei Hologrammberechnungsschaltungen vorgesehen sind, die in Reihe geschaltet und/oder parallel zueinander geschaltet sind.

18. Vorrichtung nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass eine Zufuhr von von der Vorverarbeitungsschaltung verarbeiteten Daten der Szene in einem systemunabhängigen Format an die wenigstens eine Hologrammberechnungsschaltung vorgesehen ist.

19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass die wenigstens eine Hologrammberechnungsschaltung derart ausgebildet ist, dass die in einem systemunabhängigen Format zugeführten Daten der Szene direkt nutzbar sind und das Hologramm berechenbar ist.

20. Vorrichtung nach einem der Ansprüche 13 bis 19, dadurch gekennzeichnet, dass eine externe Datenschnittstelleneinheit zum verschlüsselten Zuführen von Daten und Programmen an die Vorverarbeitungsschaltung vorgesehen ist.

21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, dass die verschlüsselt der Vorverarbeitungsschaltung zugeführten Daten und Programme verschlüsselt auf einem nicht flüchtigen Speicher abgelegt sind.

22. Vorrichtung nach einem der Ansprüche 13 bis 21 , dadurch gekennzeichnet, dass eine gegenseitige Authentifikation zwischen der Vorverarbeitungsschaltung und der wenigstens einen Hologrammberechnungsschaltung implementiert ist.

23. Vorrichtung nach einem der Ansprüche 13 bis 22, gekennzeichnet durch eine Skalierbarkeit der Vorverarbeitungsschaltung und/oder der wenigstens einen Hologrammberechnungsschaltung für verschiedene Größen der wenigstens einen räumlichen Lichtmodulationseinrichtung und/oder Hologrammauflösungen und/oder Szenenauflösungen und/oder Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung durch eine variable Aktivierung von Berechnungspfaden.

24. Vorrichtung nach einem der Ansprüche 13 bis 23, dadurch gekennzeichnet, dass die wenigstens eine Hologrammberechnungsschaltung für verschiedene Ausführungen oder Ausgestaltungen der wenigstens einen räumlichen Lichtmodulationseinrichtung vorgesehen ist.

25. Holographische Anzeigevorrichtung aufweisend:

- eine Vorverarbeitungsschaltung nach einem der Ansprüche 1 bis 12,

- wenigstens eine Hologrammberechnungsschaltung zur Berechnung eines Hologramms, und

26. Holographische Anzeigevorrichtung nach Anspruch 25, dadurch gekennzeichnet, dass wenigstens ein Source-Treiber vorgesehen ist, mit welchem Daten des mit der wenigstens einen Hologrammberechnungsschaltung berechneten Hologramms an die wenigstens eine räumliche Lichtmodulationseinrichtung übermittelbar sind.

27. Holographische Anzeigevorrichtung nach Anspruch 25 oder 26, dadurch gekennzeichnet, dass eine Beleuchtungseinrichtung, die wenigstens eine Lichtquelle aufweist, und ein optisches System vorgesehen sind, mittels denen in Verbindung mit der wenigstens einen räumlichen Lichtmodulationseinrichtung eine Szene rekonstruierbar ist.

28. Pipeline zur Echtzeit-Berechnung von Hologrammen, die eine Vorverarbeitungsschaltung zum Vorverarbeiten von Daten einer Szene und zur direkten Ansteuerung von Komponenten wenigstens einer räumlichen Lichtmodulationseinrichtung und wenigstens eine Hologrammberechnungsschaltung zur Berechnung von Hologrammen aufweist, wobei die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung jeweils auf Basis einer Anwendungsfeld programmierbaren Logik-Gatter-Anordnung (FPGA) und/oder einer anwendungsspezifischen integrierten Schaltung (ASIC) realisiert sind.

29. Pipeline nach Anspruch 28, dadurch gekennzeichnet, dass die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung zur Laufzeit konfigurierbar sind.

30. Pipeline nach Anspruch 28 oder 29, dadurch gekennzeichnet, dass die Vorverarbeitungsschaltung eine Empfangsschnittstelleneinheit zum Empfang von Daten zur Beschreibung einer darzustellenden Szene, eine Verarbeitungseinheit zur Vorverarbeitung der Daten der darzustellenden Szene und eine Ausgabeschnittstelleneinheit zur Ausgabe und Übermittlung der vorverarbeiteten Daten an die wenigstens eine Hologrammberechnungsschaltung aufweist.

31. Pipeline nach einem der Ansprüche 28 bis 30, dadurch gekennzeichnet, dass die wenigstens eine Hologrammberechnungsschaltung eine Eingangsschnittstelleneinheit zum Empfang von von der Vorverarbeitungsschaltung vorverarbeiteten Daten, eine Hologrammberechnungseinheit zur Berechnung und Kodierung eines Hologramms, und eine Ausgabeschnittstelleneinheit zum Übermitteln der Daten des berechneten Hologramms an wenigstens eine räumliche Lichtmodulationseinrichtung aufweist.

32. Pipeline nach einem der Ansprüche 28 bis 31 , dadurch gekennzeichnet, dass die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung separate Schaltungen sind, die derart miteinander in Verbindung stehen, dass mittels der Vorverarbeitungsschaltung die wenigstens eine Hologrammberechnungsschaltung ansteuerbar ist, die Vorverarbeitungsschaltung und die wenigstens eine Hologrammberechnungsschaltung aber keiner spezifischen räumlichen Lichtmodulationseinrichtung und/oder holographischen Anzeigevorrichtung zugeordnet sind.

33. Pipeline nach einem der Ansprüche 28 bis 32, gekennzeichnet durch eine Skalierbarkeit der Vorverarbeitungsschaltung und/oder der Hologrammberechnungsschaltung für verschiedene Größen der wenigstens einen räumlichen Lichtmodulationseinrichtung und/oder Hologrammauflösungen und/oder Szenenauflösungen und/oder Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung durch eine variable Aktivierung der Berechnungspfade.

34. Verfahren zur Berechnung eines Hologramms zur Darstellung einer Szene mittels einer holographischen Anzeigevorrichtung, die wenigstens eine räumliche Lichtmodulationseinrichtung aufweist, wobei die Berechnung des Hologramms mittels einer Vorverarbeitungsschaltung und wenigstens einer Hologrammberechnungsschaltung erfolgt.

35. Verfahren nach Anspruch 34, dadurch gekennzeichnet, dass die Vorverarbeitungsschaltung Daten, die nur einmalig bei der Vorverarbeitung zur Berechnung des Hologramms benötigt werden, verarbeitet und die wenigstens eine Hologrammberechnungsschaltung das zur Kodierung für die wenigstens eine räumliche Lichtmodulationseinrichtung vorgesehene Hologramm aus den durch die Vorverarbeitungsschaltung bereitgestellten Daten berechnet und an die wenigstens eine räumliche Lichtmodulationseinrichtung ausgibt.

36. Verfahren nach Anspruch 34 oder 35, dadurch gekennzeichnet, dass eine Eingangsschnittstelleneinheit der Vorverarbeitungsschaltung Daten einer darzustellenden Szene in einem verschlüsselten Format empfängt, diese entschlüsselt und an eine Vorverarbeitungseinheit der Vorverarbeitungsschaltung übermittelt.

37. Verfahren nach Anspruch 36, dadurch gekennzeichnet, dass mittels der Vorverarbeitungseinheit die übermittelten Daten entsprechend der darzustellenden Szene vorverarbeitet werden und die vorverarbeiteten Daten unter Berücksichtigung von spezifischen Parametern der wenigstens einen räumlichen Lichtmodulationseinrichtung in ein systemunabhängiges Format umgewandelt werden.

38. Verfahren nach einem der Ansprüche 36 oder 37, dadurch gekennzeichnet, dass Abbildungsfehler der darzustellenden Szene durch die Vorverarbeitungseinheit korrigiert werden, wodurch auf Abbildungsfehler korrigierte Daten erzeugt werden.

39. Verfahren nach einem der Ansprüche 36 bis 38, dadurch gekennzeichnet, dass Sehfehler eines Auges eines Betrachters der darzustellenden Szene mittels der Vorverarbeitungseinheit durch virtuelles Verschieben, Drehen und/oder Verzerren der Szene korrigiert werden.

40. Verfahren nach einem der Ansprüche 36 bis 39, dadurch gekennzeichnet, dass die

Auflösung, der Detailgrad und/oder die holographische Qualität der darzustellenden Szene unter Berücksichtigung einer Blickrichtung eines Auges des Betrachters durch die Vorverarbeitungseinheit derart angepasst wird, dass die dargestellte Szene in ihrem Randbereich mit einer reduzierten Auflösung, einem reduziertem Detailgrad und/oder einer reduzierten holographischen Qualität durch eine Hologrammberechnungseinheit der wenigstens einen

Hologrammberechnungsschaltung berechnet wird.

41. Verfahren nach einem der Ansprüche 34 bis 40, dadurch gekennzeichnet, dass Okklusionsdaten der darzustellenden Szene an die Vorverarbeitungsschaltung übermittelt werden, wobei die Vorverarbeitungsschaltung die benötigte Information zum Generieren von Objektpunkten der Szene aus den übermittelten Okklusionsdaten extrahiert.

42. Verfahren nach einem der Ansprüche 36 bis 41 , dadurch gekennzeichnet, dass die mit der Vorverarbeitungseinheit generierten Daten in ein systemunabhängiges Format unter Berücksichtigung von spezifischen Parametern der wenigstens einen räumlichen Lichtmodulationseinrichtung umgewandelt werden und über eine Ausgabeschnittstelleneinheit der Vorverarbeitungsschaltung an die wenigstens eine Hologrammberechnungsschaltung zur Berechnung eines Hologramms der darzustellenden Szene übermittelt werden.

43. Verfahren nach einem der Ansprüche 34 bis 42, dadurch gekennzeichnet, dass steuerbare Komponenten einer holographischen Anzeigevorrichtung zur Darstellung der Szene mittels der Vorverarbeitungsschaltung angesteuert werden, wobei die Steuerung der Komponenten synchron zur Ausgabe des berechneten Hologramms auf die wenigstens eine räumliche Lichtmodulationseinrichtung erfolgt.

44. Verfahren nach einem der Ansprüche 34 bis 43, dadurch gekennzeichnet, dass die spezifischen Parameter der wenigstens einen räumlichen Lichtmodulationseinrichtung, Daten und Programme zur Vorverarbeitung der darzustellenden Szene verschlüsselt auf einem nicht flüchtigen Speicher abgelegt werden, wobei diese Daten der Vorverarbeitungsschaltung verschlüsselt übermittelt werden.

45. Verfahren nach einem der Ansprüche 34 bis 44, dadurch gekennzeichnet, dass die wenigstens eine räumliche Lichtmodulationseinrichtung und wenigstens ein Source- Treiber zum Treiben der wenigstens einen räumlichen Lichtmodulationseinrichtung über einen Timing-Controller der Vorverarbeitungsschaltung getaktet und gesteuert werden.

46. Verfahren nach einem der Ansprüche 34 bis 45, dadurch gekennzeichnet, dass innerhalb der Vorverarbeitungsschaltung wenigstens eine Analyse der Daten der darzustellenden Szene für eine Hologrammnormalisierung durchgeführt wird.

47. Verfahren nach Anspruch 46, dadurch gekennzeichnet, dass zur Ermittlung von Hologrammnormalisierungsparametern zur Hologrammnormalisierung eine Analyse der an die Eingangsschnittstelleneinheit übermittelten Daten erfolgt durch: Analyse einer Verteilung von Objektpunkten der Szene hinsichtlich ihrer Tiefe und ihrer lateralen Verteilung in einem Betrachtungsbereich

Analyse einer Helligkeitsverteilung der Objektpunkte in Kombination mit der jeweiligen Tiefe der Objektpunkte im Betrachtungsbereich, und Ermitteln einer Gesamtzahl der Objektpunkte.

48. Verfahren nach Anspruch 47, dadurch gekennzeichnet, dass durch Analyse der

Veränderung der darzustellenden Szene von Frame zu Frame

Hologrammnormalisierungsparameter durch ein Analysemodul in der Vorverarbeitungsschaltung geschätzt und an ein Kodierungsmodul in der wenigstens einen Hologrammberechnungsschaltung übermittelt werden, welches diese geschätzten Hologrammnormalisierungsparameter auf die berechneten durchlaufenden Hologramm-Daten zur Normalisierung anwendet.

49. Verfahren nach Anspruch 48, dadurch gekennzeichnet, dass mittels der durchlaufenden berechneten Daten zur Hologrammkodierung korrekte Werte der Hologrammnormalisierungsparameter durch das Kodierungsmodul ermittelt und an das Analysemodul in der Vorverarbeitungsschaltung zurückübermittelt werden.

50. Verfahren nach einem der Ansprüche 48 oder 49, dadurch gekennzeichnet, dass die geschätzten Hologrammnormalisierungsparameter und die korrekten Werte der Hologrammnormalisierungsparameter am Ende jeden Frames miteinander verglichen werden.

51. Verfahren nach einem der vorhergehenden Ansprüche 34 bis 50, dadurch gekennzeichnet, dass jeweils ein Objektpunkt der darzustellenden Szene in einem Subhologramm kodiert wird, wobei zur Beschreibung von Phasenwerten von Pixeln des Subhologramms eines Objektpunkts durch die Vorverarbeitungsschaltung folgende Parameter bestimmt und an die wenigstens eine Hologrammberechnungsschaltung zur Berechnung der Phase des Subhologramms des Objektpunkts der Szene übertragen werden: eine Brennweite oder Brechkraft, die abhängig von einer Tiefe des Objektpunkts im Betrachtungsbereich variiert, und ein Phasenoffset des Objektpunkts.

52. Verfahren nach Anspruch 51 , dadurch gekennzeichnet, dass die Brennweite für die Beschreibung der Phasenwerte der Pixel des Subhologramms eines Objektpunkts als normierte Brennweite F = f/p oder deren Reziprokwert festgelegt wird, wobei f die Brennweite des Objektpunkts und p eine Konstante ist, die vorzugsweise auf den Pixelpitch der wenigstens einen räumlichen Lichtmodulationseinrichtung festgelegt wird Verfahren nach Anspruch 51 , dadurch gekennzeichnet, dass die Brennweite für die Beschreibung der Phasenwerte der Pixel des Subhologramms eines Objektpunkts in systemunabhängiger Form als wellenlängen-normierte Brennweite F' = f /p² oder deren Reziprokwert festgelegt wird, wobei f die Brennweite des Objektpunkts, A die Wellenlänge des Lichts und p eine Konstante ist, die vorzugsweise auf den Pixelpitch der wenigstens einen räumlichen Lichtmodulationseinrichtung festgelegt wird. Verfahren nach einem der Ansprüche 51 bis 53, dadurch gekennzeichnet, dass der Phasenwert von Pixeln des Subhologramms des Objektpunkts der Szene mit gleichem Abstand vom Zentrum des Subhologramms mit einem diesem Abstand fest zugeordneten Schaltungsteil der wenigstens einen Hologrammberechnungsschaltung berechnet wird.