WO2017064063A1 - Vorrichtung und verfahren für die augmented reality darstellung - Google Patents

Vorrichtung und verfahren für die augmented reality darstellung Download PDF

Info

Publication number
WO2017064063A1
WO2017064063A1 PCT/EP2016/074346 EP2016074346W WO2017064063A1 WO 2017064063 A1 WO2017064063 A1 WO 2017064063A1 EP 2016074346 W EP2016074346 W EP 2016074346W WO 2017064063 A1 WO2017064063 A1 WO 2017064063A1
Authority
WO
WIPO (PCT)
Prior art keywords
light field
field data
data
user
environment
Prior art date
Application number
PCT/EP2016/074346
Other languages
English (en)
French (fr)
Inventor
Jeremias GROMOTKA
Original Assignee
Carl Zeiss Vision International Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Vision International Gmbh filed Critical Carl Zeiss Vision International Gmbh
Publication of WO2017064063A1 publication Critical patent/WO2017064063A1/de
Priority to US15/942,609 priority Critical patent/US10573080B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Gegenstand der Erfindung ist ein AR (Augmented Reality)-System, das ein HMD (Head mounted display) (1) mit einem holographischen Display (2, 3) und eine Einrichtung zur Generierung von VR(Virtual Reality)-Lichtfelddaten aufweist. Erfindungsgemäß ist vorgesehen, dass es zusätzlich eine Einrichtung (9) zur Aufnahme von Lichtfelddaten der Umgebung und eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality)-Lichtfelddaten und Ansteuerung des holographischen Displays aufweist, wobei eine Einrichtung zur Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers vorgesehen ist. Die erfindungsgemäß vorgesehene vollständige computergenerierte Darstellung einer AR ermöglicht es, eine gemeinsame und einheitliche Anpassung und Korrektur der Darstellung beispielsweise an Fehlsichtigkeiten des Benutzers vorzunehmen.

Description

VORRICHTUNG UND VERFAHREN FÜR DIE
AUGMENTED REALITY DARSTELLUNG
Die Erfindung betrifft ein AR (Augmented Reality) -Sys tem, mit einem HMD (Head mounted display) mit einem holographischen Display sowie einer Einrichtung zur Generierung von VR (Virtual Reality) -Lichtfelddaten . Gegenstand der Erfindung ist ferner ein Verfahren zum Darstellen von AR-Darstellungen in bzw. unter Verwendung eines erfindungsgemäßen Systems.
VR (Virtual Reality) -Systeme sind aus offenkundiger Vorbenutzung bekannt. Sie erlauben es, einem Benutzer eine computergenerierte virtuelle Darstellung bzw. Re alität darzustellen.
Ebenfalls bekannt sind AR (Augmented Reality) -Systeme, bei denen der Benutzer einerseits die Umgebung direkt optisch wahrnehmen kann, andererseits zusätzlich VR- Daten in seinem Sichtfeld erscheinen. Diese AR-Systeme erlauben es, einem Benutzer beim Blick auf die Umgebung Zusatzinformationen in Form von VR-Daten zur Verfügung zu stellen. Ein aus offenkundiger Vorbenutzung bekanntes AR-System ist beispielsweise Google Glass®.
Aus WO 2015/032828 AI ist ein AR-System bekannt, bei dem eine Korrektur der eingebrachten VR-Daten anhand ophthalmologischer Parameter des Benutzers vorgesehen ist . Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren der eingangs genannten Art zu schaffen, dass eine gute AR-Darstellung bietet und eine einfache Möglichkeit der Anpassung an ver¬ schiedene Benutzer erlaubt.
Die Aufgabe wird erfindungsgemäß dadurch gelöst, dass das System weiter aufweist eine Einrichtung zur Auf- nähme von Lichtfelddaten der Umgebung und eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Rea- lity) -Lichtfelddaten und Ansteuerung des holographischen Displays, wobei eine Einrichtung zur Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers vorgesehen ist.
Zunächst seien einige im Rahmen der Erfindung verwendete Begriffe erläutert.
AR (Augmented Reality) -Systeme erlauben einem Benutzer die gleichzeitige visuelle Wahrnehmung sowohl der Um¬ gebung (entweder direkt oder indirekt durch Darstellung einer Kameraaufnahme der Umgebung) als auch op- tisch überlagerter oder eingeblendeter grafischer Zusatzdaten, dabei kann es sich beispielsweise um Bilder, alphanumerische Zeichen oder dergleichen handeln.
HMD (Head mounted displays) sind auf dem Kopf getra¬ gene visuelle Ausgabegeräte, die dem Benutzer optische Daten und Bilder präsentieren können. Sie können beispielsweise als Brillen, Masken, Helme, Kontaktlinsen oder dergleichen ausgebildet sein. Im Rahmen der Er findung werden bevorzugt geschlossene HMD verwendet die den Benutzer ausschließlich computergenerierte tische Darstellungen wahrnehmen lassen und keine di rekte visuelle Wahrnehmung der Umgebung ermöglichen
Ein holographisches Display ist eine Einrichtung, die ein computergeneriertes holographisches Interferenz¬ musterbild darstellen kann, das in der Wahrnehmung ei nem stereoskopischen Bild entspricht. Holographische Displays sind im Stand der Technik bekannt und bei¬ spielsweise in US 2014/0293386 AI beschrieben.
Eine Einrichtung zur Generierung von VR (Virtual Rea- lity) -Lichtfelddaten erzeugt VR-Lichtfelddaten, die mittels eines holographischen Displays eine 3D-Dar- stellung dieser (künstlich erzeugten) grafischen Daten erlauben .
Lichtfelddaten werden beschrieben durch eine Vektor funktion, die für jeden Raumpunkt und jede Raumrich tung die Strahldichte des Lichts beschreibt.
Eine Einrichtung zur Aufnahme von Lichtfelddaten der Umgebung erlaubt die Erfassung des Lichtfelds einer beobachteten Umgebung bzw. Szene. Bevorzugt ist diese Einrichtung erfindungsgemäß als Lichtfeldkamera oder plenoptische Kamera ausgebildet. Grundsätzlich kann die Aufnahme von Lichtfelddaten der Umgebung auch auf andere Art und Weise erfolgen, beispielsweise durch
Mehrfachbelichtung eines regulären Bildsensors mit wechselnder Brennweite. Besonders bevorzugt erlaubt die Einrichtung die Aufnahme und Erstellung von Lichtfelddaten der Umgebung in Echtzeit.
Ein wesentliches Element der Erfindung ist eine Ein¬ richtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Rea- lity) -Lichtfelddaten . Erfindungsgemäß ist somit vorge¬ sehen, dass die AR-Darstellung keine Mischdarstellung aus einer direkten optischen Wahrnehmung der Umgebung mit hinzugefügten VR-Daten ist, sondern die gesamte AR-Darstellung einschließlich der Darstellung der Umgebung vollständig computergeneriert mittels des holo¬ graphischen Displays erfolgt. Diese vollständige com¬ putergenerierte Darstellung umfasst bei der Darstel¬ lung der Umgebung bevorzugt eine Live-Darstellung der Umgebung bevorzugt aus einer zu diesem Zweck vorgesehenen Kamera wie beispielsweise einer Stirnkamera.
Die mit Lichtfelddaten der Umgebung zusammen geführten VR-Lichtfelddaten können computergenerierte bzw. simulierte Daten aufweisen, sie können auch Daten von einer räumlich entfernt angeordneten Lichtfeldkamera aufweisen, beispielsweise für Telepräsenzanwendungen . Diese erfindungsgemäße Vorgehensweise erlaubt es, sämtliche Möglichkeiten zur Darstellung und gegebenenfalls Korrektur von mittels eines holographischen Displays dargestellter Lichtfelddaten nicht nur auf die VR-Elemente einer gemischten AR-Darstellung mit direk- ter Wahrnehmung der Umgebung anzuwenden, sondern auch auf die Gesamtdarstellung einschließlich der Umgebung und somit der Wahrnehmung der Umgebung. Das System weist eine Einrichtung zur Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers auf.
Der Begriff der ophthalmologischen Daten des Benutzers bezeichnet Daten, die Informationen zum individuellen Sehvermögen bzw. den Seheigenschaften eines Benutzers umfassen. Dabei kann es sich bevorzugt um sogenannte Verschreibungsdaten, die definierte Fehlsichtigkeiten des Benutzers erfassen, handeln. Solche Verschrei¬ bungsdaten sind beispielsweise Sphäre; Zylinder und Achse (Korrektur des Astigmatismus) ; prismatische Kor¬ rektur; Aberrationen höherer Ordnung; Addition (Korrektur der Presbyopie) und dergleichen.
Es kann sich jedoch auch um andere ophthalmologische Daten handeln, beispielsweise vorgegebene Daten im Zuge der Ermittlung von ophthalmologischen Daten eines Benutzers .
Ferner kann es sich um Sensitivitätsdaten handeln, die beispielsweise die spektrale Empfindlichkeit oder Hel¬ ligkeitsempfindlichkeit der Augen beschreiben. Die Kenntnis der spektralen Empfindlichkeit ermöglicht er¬ findungsgemäß beispielsweise die Korrektur von Farb- sehschwächen . Die Kenntnis der Helligkeitsempfindlichkeit ermöglicht beispielsweise die Anpassung des Kon¬ trastes des generierten AR-Bildes an die Eigenschaften der Augen. Weiter kann es sich um biometrische Daten des Benut¬ zers handeln, darunter fallen beispielsweise Pupillendistanz, axiale Länge der Augen, Lage des Drehpunktes der Drehung der Augen und dergleichen.
Die Erfindung erlaubt es, einem Benutzer eine AR- Darstellung anzubieten, bei der sowohl die Darstellung der Umgebung als auch die zusätzlichen visuellen VR- Daten gemeinsam korrigiert werden beispielsweise zum Ausgleich von Fehlsichtigkeiten des Benutzers. Es ist erfindungsgemäß nicht mehr erforderlich, die bei AR- Systemen des Standes der Technik vorgesehene doppelte Korrektur vorzusehen, bei der die direkte visuelle Wahrnehmung der Umgebung korrigiert werden muss durch übliche optische Elemente wie beispielsweise Brillen¬ linsen, die beispielsweise im Stand der Technik in das verwendete HMD eingesetzt werden können.
Optional erlaubt die erfindungsgemäße Vorgehensweise auch die Simulation der Wirkung eines Brillenglases o- der Brillenglasdesigns, für ein Gleitsichtglasdesign beispielsweise Addition, Länge des Progressionskanals, Lage und Größe von Nah- und Fernbereich oder die Verteilung astigmatischer Restfehler.
Durch sukzessive Simulation verschiedener sphärischer Wirkungen, zylindrischer Wirkungen und Achslagen, ggf. prismatischer Wirkungen etc. kann die erfindungsgemäße Vorgehensweise auch zur subjektiven Refraktion verwen- det werden. Das kann wie bei der klassischen subjektiven Refraktion mit Korrekturgläsern durch abgestufte optische Wirkungen und im Dialog mit einer Fachkraft, etwa einem Augenarzt oder Augenoptiker geschehen, es ist aber auch möglich den Probanden mit einem Eingabegerät, etwa einem Schieberegler oder dergleichen, auszustatten und ihm zu erlauben sich die optimale Wirkung stufenlos selbst einzustellen, und diese in di- versen simulierten oder echten Alltagssituationen (Lesen, Treppensteigen, ...) direkt auszuprobieren.
Bevorzugt ist die Einrichtung zur Aufnahme von Licht¬ felddaten der Umgebung als Lichtfeldkamera ausgebil¬ det, die eine Aufnahme dieser Lichtfelddaten in Echt¬ zeit ermöglicht. Weiter bevorzugt ist die Einrichtung zur Aufnahme von Lichtfelddaten mit der Blickrichtung des Benutzers koordiniert. Auf diese Weise wird die Umgebung realitätsnah unter Berücksichtigung der
Blickrichtung wiedergegeben. Die Lichtfeldkamera kann zu diesem Zweck mechanisch mit dem HMD gekoppelt sein, insbesondere an diesem angebracht sein. Sie folgt da¬ mit den Kopfbewegungen des Benutzers. Alternativ oder zusätzlich kann ein Blickrichtungssensor im HMD vorgesehen sein, der Augenbewegungen und die Blickrichtung erfasst und vorzugsweise eine Nachführung der Kamera steuert .
Es ist im Rahmen der Erfindung ebenfalls möglich, die Kamera räumlich entfernt vom HMD bzw. dem Nutzer des
HMD anzuordnen. Eine solche räumlich entfernte Anord¬ nung kann insbesondere für Telepräsenzanwendungen vorteilhaft sein. Weiter bevorzugt ist eine solche räum¬ lich entfernte Kamera drahtgebunden oder bevorzugt drahtlos dergestalt vom HMD steuerbar, dass die Auf¬ nahmerichtung der Kamera mit der Blickrichtung des Benutzers des HMD verknüpft ist bzw. dieser Blickrichtung folgt. Beispielsweise kann das HMD Accelerometer aufweisen, die Kopfbewegungen des Benutzers erfassen und so eine Steuergröße für die Nachführung der ent¬ fernten Kamera bereitstellen. Erfindungsgemäß ist es bevorzugt, dass die Einrichtung zur Generierung von VR-Lichtfelddaten mit einer externen Datenquelle verbindbar ist. Es kann sich um eine externe Datenquelle (beispielsweise Datenbanken oder generell das Internet) handeln, die Inhalte für die VR-Darstellungen beisteuert.
Alternativ oder zusätzlich kann vorgesehen sein, dass nicht nur eine Verbindung zu einer externen Datenquelle erfolgt, sondern auch zu einem externen Compu- ter, dessen Rechenleistung genutzt wird beispielsweise zur Verarbeitung von Lichtfelddaten, Ansteuerung des holographischen Displays oder dergleichen. Diese Variante der Erfindung erlaubt es, eine rechenaufwendige Bearbeitung von Lichtfelddaten in leistungsfähige ex- terne Computer zu verlagern.
Die Verbindung von externer Datenquelle bzw. externem Computer und dem erfindungsgemäßen System bzw. HMD erfolgt bevorzugt drahtlos, es können bekannte elektro- magnetische oder optische drahtlose Verbindungstechni¬ ken genutzt werden. Sofern in der entsprechenden Umgebung verfügbar, haben optische Verbindungen den Vorteil, dass eine breitbandige Übertragung problemlos möglich ist und eine Belastung mit elektromagnetischer Strahlung im Kopfbereich des Benutzers vermieden werden kann. Erfindungsgemäß kann vorgesehen sein, dass die externe Datenquelle zusätzlich ophthalmologische Daten des Be¬ nutzers enthält. Dies kann insbesondere dann vorteil¬ haft sein, wenn ein erfindungsgemäßes System von ver- schiedenen Benutzern mit unterschiedlichen Fehlsichtigkeiten verwendet wird. Durch Zugriff auf die ex¬ terne Datenquelle kann automatisch eine Anpassung an den jeweiligen Benutzer erfolgen. Alternativ können die entsprechenden ophthalmologischen Daten lokal im erfindungsgemäßen System bzw. dem HMD gespeichert sein .
Eine sehr häufige Ausprägung einer Fehlsichtigkeit ist Kurzsichtigkeit oder Weitsichtigkeit, die eine sphäri- sehe Korrektur der Fokusebene erfordern. Erfindungsge¬ mäß kann vorgesehen sein, dass die Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality) -Lichtfeld¬ daten und Ansteuerung des holographischen Displays dazu ausgebildet ist, aus den AR-Lichtfelddaten für jedes Auge des Benutzers die Fokusebene zu präsentie¬ ren, die der sphärischen Fehlsichtigkeit dieses Auges entspricht. Es ist bei dieser Variante der Erfindung möglich, jeweils nur diejenigen Schärfeebenen zu gene- rieren und verwenden, die den Fehlsichtigkeiten des linken bzw. rechten Auges des Trägers entsprechen. Eine solche Vorgehensweise erfordert vergleichsweise weniger Rechenleistung und erleichtert somit die
Durchführung dieser Berechnungen im Sinne des Merkmals d. des Anspruchs 1 lokal im Bereich des Systems bzw.
HMD. Erfindungsgemäß ist es bevorzugt, dass das HMD bzw. dessen holographisches Display einen SLM (spatial light modulator) aufweist. Geeignete SLM sind der Fachwelt geläufig und bedürfen hier keiner näheren Er- läuterung. Eine Offenbarung geeigneter SLM findet sich beispielsweise in der eingangs erwähnten WO
2015/032828 AI.
Der SLM kann erfindungsgemäß beispielsweise als re- flektiver oder transmissiver SLM ausgebildet sein. Ein
Beispiel für einen transmissiven SLM sind gestaffelt angeordnete LC-Displays (stacked LC-Displays, wie sie beispielsweise offenbart sind in der Publikation Huang et. al . , „The Light Field Stereoscope" , abrufbar unter http / /www . co pu tionalimagin . org/publications /1 ~~ light-field- stereoscope / . Auf diese Offenbarung wird Bezug genommen.
Bevorzugt weist das erfindungsgemäße System zusätzlich einen Blickrichtungssensor auf. Die Erfassung der
Blickrichtung kann insbesondere dann sinnvoll oder erforderlich sein, wenn von der Blickrichtung abhängige Fehlsichtigkeiten wie beispielsweise der Astigmatismus erfindungsgemäß korrigiert werden sollen. Somit kann erfindungsgemäß vorgesehen sein, dass die vom Blick¬ richtungssensor erfasste Blickrichtung des Benutzers in die Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers einfließt. Ein weiterer Gegenstand der Erfindung ist ein Verfahren zum Generieren bzw. Darstellen von AR- Darstellungen unter Verwendung eines bzw. in einem erfindungsgemäßen System, mit den Schritten der Aufnahme von Lichtfelddaten der Umgebung, Generierung von VR- Lichtfelddaten, Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality) -Lichtfelddaten, Modifizieren der AR- Lichtfelddaten anhand ophthalmologischer Daten des Benutzers und Darstellung der modifizierten AR- Darstellung im HMD.
Wie bereits im Kontext des erfindungsgemäßen Systems beschrieben, ist es bevorzugt, dass das Modifizieren die Generierung der Schärfeebenen umfasst, die der sphärischen Fehlsichtigkeit des jeweiligen Auges des Benutzers entsprechen.
Weiter ist es bevorzugt, dass das Modifizieren unter Berücksichtigung der vom Blickrichtungssensor erfass- ten Blickrichtung des Benutzers erfolgt.
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnung beschrieben. Darin zeigen:
Fig. 1: Schematisch als Explosionszeichnung ein HMD eines erfindungsgemäßen Systems;
Fig. 2: Schematisch ein erfindungsgemäßes System mit entfernt angeordneter Kamera.
In einem Gehäuse 1 sind zwei LC-Displays 2, 3 in einem Abstand voneinander angeordnet, der durch den Abstandshalter 4 bestimmt wird. Diese beiden Displays bilden gemeinsam einen SLM wie vorstehend beschrieben. Die Displays werden hinterleuchtet von einer Back¬ light-Einrichtung 5.
Die genannten Bauteile sind in dem geschlossenen Ge- häuse 1 angeordnet, das an der Vorderseite eine Öff¬ nung bzw. Aussparung 6 aufweist, die in etwa an die Kopfform eines Benutzers angepasst ist und dazu dient, ein vor den Augen eines Benutzers positioniertes HMD im Wesentlichen lichtdicht abzuschließen.
Der Blick des Benutzers auf das von den LC-Displays dargestellter Bild wird durch schematisch bei 7 angedeutete Linsen vermittelt. Je nach Ausführung des Displays sind Vorsatzlinsen nicht zwingend nötig, können aber wünschenswert sein, z.B. als UV-, Blaulicht- oder Kontrastfilter.
Eine physische Trennung der Darstellung für rechtes und linkes Auge kann abhängig vom verwendeten Display sinnvoll, aber u.U. nicht zwingend nötig sein.
Das HMD kann bei einer Ausführungsform der Erfindung eine fest damit verbundene (in der Zeichnung nicht dargestellte) Lichtfeldkamera aufweisen, die bei¬ spielsweise an der von den Linsen 7 abgewandten Seite des HMD angeordnet sein kann und durch die feste Ver¬ bindung mit dem HMD der Blickrichtung eines Benutzers automatisch folgt.
Bei einer anderen Ausführungsform der Erfindung (Fig. 2) kann die Kamera 9 räumlich getrennt angeordnet sein, vorzugsweise sind dann Einrichtungen vorgesehen, die über eine Datenverbindung 10, 11 dafür sorgen, dass sich diese räumlich entfernt angeordnete Kamera entsprechend den Kopfbewegungen des Benutzers des HMD bewegt und somit dessen (imaginärer) Blickrichtung folgt. Eine solche räumlich entfernt angeordnete Ka¬ mera kann beispielsweise dazu dienen, ein erfindungs¬ gemäßes System für Telepräsenzveranstaltungen nutzbar zu machen. In der Ausführungsform der Fig. 2 ist schematisch eine
Einrichtung zur Generierung von VR (Virtual Reality) - Lichtfelddaten als externer Computer 8 dargestellt, der über eine Datenverbindung 10 mit dem HMD verbunden ist. Gegebenenfalls kann dieser Computer 8 baulich mit dem HMD 1 verbunden bzw. darin integriert sein.

Claims

Patentansprüche
1. AR (Augmented Reality) -System, das aufweist: a. ein Head mounted display mit einem holographischen Display (2,3) , b. eine Einrichtung zur Generierung von VR (Virtual Reality) -Lichtfelddaten, dadurch gekennzeichnet, dass es weiter aufweist: c. eine Einrichtung (9) zur Aufnahme von Lichtfeldda¬ ten der Umgebung, d. eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality) -Lichtfelddaten und Ansteuerung des holographischen Displays (2,3), eine Einrichtung zur Korrektur der AR-
Lichtfelddaten anhand ophthalmologischer Daten des
Benutzers .
System nach Anspruch 1, dadurch gekennzeichnet dass die ophthalmologischen Daten des Benutzers ausgewählt sind aus der Gruppe bestehend aus Verschreibungsdaten, biometrischen Daten und Sensitivitätsdaten . 3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet dass die Einrichtung zur Aufnahme von Lichtfelddaten der Umgebung als Lichtfeldkamera (9) ausgebildet ist. System nach einem der Ansprüche 1 bis 3, dadurch ge¬ kennzeichnet dass die Einrichtung zur Aufnahme von Lichtfelddaten mit der Blickrichtung des Benutzers ko- ordiniert ist.
System nach einem der Ansprüche 1 bis 4, dadurch ge¬ kennzeichnet dass die Einrichtung (9) zur Generierung von VR-Lichtfelddaten mit einer externen Datenquelle verbindbar ist.
System nach Anspruch 5 , dadurch gekennzeichnet, dass die externe Datenquelle zusätzlich ophthalmologische Daten des Benutzers enthält .
System nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet dass die Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR- Lichtfelddaten zu AR (Augmented Reality) -Lichtfelddaten und Ansteuerung des holographischen Displays dazu ausgebildet ist, aus den AR-Lichtfelddaten für jedes Auge des Benutzers die Fokusebene zu präsentieren, die der sphärischen Fehlsichtigkeit dieses Auges entspricht.
System nach einem der Ansprüche 1 bis 7, dadurch ge kennzeichnet dass das HMD einen SLM (spatial light dulator) aufweist.
System nach einem der Ansprüche 1 bis 8, dadurch ge kennzeichnet dass es zusätzlich einen Blickrichtung sensor aufweist.
10. System nach Anspruch 9, dadurch gekennzeichnet, dass die vom Blickrichtungssensor erfasste Blickrichtung des Benutzers in die Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers einfließt.
Verfahren zum Darstellen von AR-Darstellungen in einem System nach einem der Ansprüche 1 bis 10, mit den Schritten : a. Aufnahme von Lichtfelddaten der Umgebung, b. Generierung von VR-Lichtfelddaten, c. Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR (Augmented Reality) - Lichtfelddaten, d. Modifizieren der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers und Darstellung der modifizierten AR-Darstellung im HMD.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Modifizieren die Generierung der Schärfeebenen umfasst, die der sphärischen Fehlsichtigkeit des jeweiligen Auges des Benutzers entsprechen.
Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das Modifizieren unter Berücksichtigung der vom Blickrichtungssensor erfassten Blickrichtung des Benutzers erfolgt.
PCT/EP2016/074346 2015-10-13 2016-10-11 Vorrichtung und verfahren für die augmented reality darstellung WO2017064063A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/942,609 US10573080B2 (en) 2015-10-13 2018-04-02 Apparatus and method for augmented reality presentation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015219859.6A DE102015219859B4 (de) 2015-10-13 2015-10-13 Vorrichtung und Verfahren für die AR-Darstellung
DE102015219859.6 2015-10-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/942,609 Continuation US10573080B2 (en) 2015-10-13 2018-04-02 Apparatus and method for augmented reality presentation

Publications (1)

Publication Number Publication Date
WO2017064063A1 true WO2017064063A1 (de) 2017-04-20

Family

ID=57136867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/074346 WO2017064063A1 (de) 2015-10-13 2016-10-11 Vorrichtung und verfahren für die augmented reality darstellung

Country Status (3)

Country Link
US (1) US10573080B2 (de)
DE (1) DE102015219859B4 (de)
WO (1) WO2017064063A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
US10706281B2 (en) * 2018-08-10 2020-07-07 Microsoft Technology Licensing, Llc Controlling focal parameters of a head mounted display based on estimated user age
CN110728651A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形检测方法及眼镜
CN110728630A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的互联网图像处理方法及增强现实眼镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140293386A1 (en) 2013-03-29 2014-10-02 Lg Display Co., Ltd. Holographic Image Display Device and Method for Driving the Same
WO2015032828A1 (en) 2013-09-04 2015-03-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2461294B (en) * 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
GB201314984D0 (en) * 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20160294960A1 (en) * 2014-03-30 2016-10-06 Gary Stephen Shuster Systems, Devices And Methods For Person And Object Tracking And Data Exchange
CA2949241A1 (en) * 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
CN114236823A (zh) * 2014-07-31 2022-03-25 伊奎蒂公司 通过漫射介质的图像及波场投影
NZ773822A (en) * 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2017005614A1 (en) * 2015-07-03 2017-01-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US20140293386A1 (en) 2013-03-29 2014-10-02 Lg Display Co., Ltd. Holographic Image Display Device and Method for Driving the Same
WO2015032828A1 (en) 2013-09-04 2015-03-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method

Also Published As

Publication number Publication date
DE102015219859A1 (de) 2017-04-13
US10573080B2 (en) 2020-02-25
DE102015219859B4 (de) 2017-07-27
US20180225878A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
US10111583B1 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
WO2017064063A1 (de) Vorrichtung und verfahren für die augmented reality darstellung
EP3189372A1 (de) Anzeigevorrichtung zur demonstration optischer eigenschaften von brillengläsern
CA2916780C (en) An apparatus and method for augmenting sight
EP3956721B1 (de) Bestimmung mindestens eines optischen parameters eines brillenglases
DE102010018710B4 (de) Computerimplementiertes Verfahren zum Berechnen des optischen Designs einer Brillenlinse sowie Computerprogramm, Datenträger mit Computerprogramm und Computer zur Durchführung des Verfahrens
CN101634750A (zh) 具有变焦距透镜的头戴显示器
US11031120B1 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
EP3955800B1 (de) Bestimmung eines refraktionsfehlers eines auges
DE60206342T2 (de) Verfahren zur Beurteilung der binokularen Eigenschaften von Brillengläsern, Vorrichtung zur Anzeige dieser Eigenschaften und zugehöriger Apparat
DE102014017534A1 (de) Anzeigevorrichtung, die auf den Kopf eines Benutzers aufsetzbar ist
EP1360542B1 (de) Verfahren zur demonstration des einflusses einer bestimmten brillenfassung und der in diese brillenfassung eingesetzten optischen gläser
WO2016046123A1 (de) Anzeigevorrichtung, die auf den kopf eines benutzers aufsetzbar ist, und verfahren zum steuern einer solchen anzeigevorrichtung
DE102020214707A1 (de) Verfahren und Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung
EP4185920B1 (de) Computerimplementiertes verfahren zur erzeugung von daten zur herstellung mindestens eines brillenglases und verfahren zur herstellung einer brille
DE102020215285A1 (de) Verfahren zur Parallaxeregelung und binokulare Datenbrille mit einer Recheneinheit zu einem Durchführen des Verfahrens
DE102020215284A1 (de) Verfahren zur Betrachtungsregelung, Datenbrille, Datenbrillensystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16781744

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16781744

Country of ref document: EP

Kind code of ref document: A1