WO2023174605A1 - Verfahren zu einer bestimmung eines augenabstands in einer datenbrille und datenbrille - Google Patents

Verfahren zu einer bestimmung eines augenabstands in einer datenbrille und datenbrille Download PDF

Info

Publication number
WO2023174605A1
WO2023174605A1 PCT/EP2023/051754 EP2023051754W WO2023174605A1 WO 2023174605 A1 WO2023174605 A1 WO 2023174605A1 EP 2023051754 W EP2023051754 W EP 2023051754W WO 2023174605 A1 WO2023174605 A1 WO 2023174605A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
laser beam
user
distance
data glasses
Prior art date
Application number
PCT/EP2023/051754
Other languages
English (en)
French (fr)
Inventor
Johannes Fischer
Soeren Sofke
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023174605A1 publication Critical patent/WO2023174605A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Definitions

  • VNA virtual retinal display
  • a method for at least one, in particular dynamic, determination of a, in particular changing, eye distance between a user's eye and an optical element of an optical system, in particular an optimal eye relief, of data glasses with a virtual retinal display (VNA). comprising at least the method steps: a) generating a scanned laser beam, b) optically multiplying the scanned laser beam, c) illuminating the user's eye by the optically multiplied scanned laser beam, d) detecting a reflection signal reflected back by the user's eye, e) determining of pupil positions within the detected reflection signal, f) determining relative distances of the pupil positions determined from the reflection signal to one another and/or to a common origin point and/or to one or more reference points and g) calculating a current eye distance from the determined relative distances.
  • VNA virtual retinal display
  • An “eye distance” is intended to mean, in particular, a relative position of the user's eye in an optical system to one and a last optical element of the optical system arranged in front of the user's eye.
  • the eye relief should preferably be understood as a distance between the user's eye and the last optical element of the optical system arranged in front of the user's eye, in particular the lens of the data glasses.
  • the optimal interpupillary distance (also called eye relief) is determined in the method.
  • the optimal eye relief corresponds to the position of the user's eye in the optical system, in particular the distance between the user's eye and the last optical element of the optical system arranged in front of the user's eye, in which the user has an entire field of vision, in particular free of Vignetting or cropping can be clearly seen.
  • a size of an exit pupil of the optical system approximately corresponds to a size of a pupil of the user's eye or is slightly smaller than the size of the pupil.
  • the optimal eye relief eye relief
  • the entire exit pupil/the entire image of the virtual retinal display enters the user's eye.
  • eye relief refers to the optimal distance between the eye lenses of an eyepiece of the binoculars or telescope and the pupil of the user's eye.
  • the method includes a method part in which a dynamic correction of the eye relief of the optical system, in particular the optimal interpupillary distance of the optical system, is carried out as a function of determined changes in the interpupillary distance.
  • the optimal eye relief of the optical system and/or a focal point of the exit pupil of the optical system is adapted to an actual determined distance between the user's eye and the lens of the data glasses, preferably by manipulating the optical system.
  • Data glasses are intended to mean, in particular, a wearable (head-mounted display) through which information can be added to a user’s field of vision. Data glasses preferably enable augmented reality and/or mixed reality applications. Data glasses are also commonly referred to as smart glasses.
  • the data glasses have a virtual retinal display (VNA), also called a retinal scanning display (RSD).
  • VNA virtual retinal display
  • RSD retinal scanning display
  • the virtual retinal display includes at least one (scanned) laser projector.
  • the laser projector is intended to output the scanned laser beam to generate the image display, in particular the virtual retinal display.
  • the laser beam emitted by the laser projector can have a further signal component which is invisible to a human eye and/or which is intended for tasks other than image display.
  • this further signal component of the scanned laser beam can be designed as an infrared laser signal.
  • the scanned laser beam includes an infrared beam component.
  • “Provided” is intended to mean, in particular, specifically programmed, designed and/or equipped. The fact that an object is intended for a specific function should be understood in particular to mean that the object fulfills and/or executes this specific function in at least one application and/or operating state.
  • Optical reproduction is intended to mean, in particular, reproduction using optical elements and/or functions, such as lenses, mirrors, diffractors, etc.
  • optically reproducing an image is different from digitally reproducing an image and then outputting the so reproduced image by the laser projector.
  • the scanned laser beam enters the user's eye when illuminating the user's eye and illuminates at least one retina of the user's eye.
  • the retina interacts at least partially reflectively with the scanned laser beam, in particular at least with the infrared beam component of the scanned laser beam.
  • the reflection signal comprises a number of individual reflection images which corresponds to the number of splittings of the laser beam.
  • the pupil positions which change depending on the distance between the eyes, can be based on a common (fixed) reference point, for example on the point in the case of four images which the four images intersect, are referenced to different (fixed) reference points, e.g. an edge of a respective image, or to (non-fixed) reference points, e.g. the pupil positions in other images.
  • a common (fixed) reference point for example on the point in the case of four images which the four images intersect, are referenced to different (fixed) reference points, e.g. an edge of a respective image, or to (non-fixed) reference points, e.g. the pupil positions in other images.
  • the optical reproduction of the scanned laser beam produces at least two, preferably at least four, image copies that are offset from one another in an image plane, in particular in a pupil plane of the user's eye.
  • This advantageously makes it possible to easily monitor changes in the system consisting of data glasses and users.
  • a simple determination of the relative distances can advantageously be made possible.
  • the individual images created by reproduction can be easily distinguished.
  • An evaluation and/or calculation for determining the distance between the eyes can advantageously be facilitated.
  • the image copies are shifted relative to one another, but still partially overlap.
  • the image copies can also be non-overlapping.
  • by shifting image copies it is achieved that the pupil is assigned to a different image coordinate at any time in each image copy / in each reflection image.
  • This can advantageously enable a particularly good eye position determination, whereby a particularly effective and precise correction can be carried out.
  • a distance is measured between the optical element generating the optical duplication, for example a segmentation lens, and the user's eye, the optical element generating the optical duplication often being a penultimate optical component, in particular when viewed along the beam path of the scanned laser beams of the optical system.
  • the distance between the last optical component and the The penultimate optical component of the optical system can be assumed to be constant (exception: strong bending, stretching and/or compression stress on the data glasses), so that the eye relief can easily be determined from this actually measured distance.
  • the last optical element of the optical system is embedded in a lens of the data glasses.
  • the last optical element of the optical system is designed as a diffractive optical component (DOE) or as a holographic-optical component (HOE).
  • optical system is intended to mean, in particular, an arrangement of several optical components, in particular with different optical functions, which is constructed in such a way that a single light beam can pass through it and/or that each of the optical elements of the optical system passes through the same individual light beam (between emission and detection/absorption) manipulated at least once, preferably at least twice.
  • the scanned laser beam is multiplied by a segmentation lens.
  • the laser beam can pass through the segmentation lens bidirectionally.
  • the segmentation lens comprises at least two, preferably four, individual segments, each of which produces one of the image copies in the image plane.
  • the segmentation lens forms part of the optical system of the data glasses.
  • the segmentation lens is arranged in the optical system of the data glasses between the laser projector and the lens. In principle, equivalent alternatives to the segmentation lens, such as suitable beam splitter arrangements, etc., are also conceivable.
  • the pupil positions be determined from the reflection signal using the bright pupil effect.
  • This can advantageously enable a reliable and/or simple determination of the pupil position and thus also the distance between the eyes.
  • the bright pupil effect advantageously creates a strong iris/pupil contrast, and thus allows robust eye tracking for all iris pigmentations, which is therefore essentially unaffected by interference from eyelashes and other obscurations.
  • the bright pupil effect comes particularly from this Phenomenon that the retina reflects an increased proportion of incident light when its wavelength is in the (infrared) range of around 850 nm.
  • the calculation of the eye distance occurs at least during operation of the data glasses, in particular periodically, preferably with frequencies of more than 1 Hz.
  • a dynamic of the interpupillary distance determination and/or interpupillary distance monitoring can advantageously be obtained.
  • Active readjustment and/or active correction of the exit pupil position, in particular the eye relief, can advantageously be achieved.
  • an output of the virtual retinal display, in particular at least one Focus of at least a visible part of the scanned laser beam is tracked and/or optimized based on the calculated interpupillary distance, in particular dynamically.
  • a beam path of the scanned laser beam is dynamically adaptively adjusted. It is also conceivable that downstream systems of the data glasses and/or downstream systems external to the data glasses are notified of any slipping (a change in the distance between the eyes).
  • the optical system includes dynamically controllable components for changing a focus of the visible part of the scanned laser beam, in particular for changing a focus distance between the focus of the visible part of the scanned laser beam and the lens of the data glasses.
  • the optical system can include dynamically controllable, preferably dynamically movable and/or pivotable, lenses or lens systems.
  • the laser projector also includes a detector.
  • the detector is designed to be integrated into the laser projector.
  • the detector is arranged “on-axis” with the laser beam emitted by the laser projector.
  • the laser projector and the detector are combined in a VCESL (vertical-cavity surface-emitting laser) with an integrated photodiode (ViP).
  • VCESL vertical-cavity surface-emitting laser
  • the optical system for carrying out the method described above comprising the laser projector for generating the scanned laser beam, an optical multiplication element, in particular the segmentation lens, for multiplication of the scanned laser beam, and the detector for detecting the reflection signal of the scanned and multiplied laser beam.
  • the optical system for carrying out the method described above is proposed, comprising the laser projector for generating the scanned laser beam, an optical multiplication element, in particular the segmentation lens, for multiplication of the scanned laser beam, and the detector for detecting the reflection signal of the scanned and multiplied laser beam.
  • data glasses with the optical system and with an evaluation unit are used to evaluate the reflection signal detected by the detector and with an interpupillary distance compensation unit for dynamic control of components of the data glasses, in particular the optical system of the data glasses, such as the dynamically controllable lenses or the dynamically controllable lens system, with the aim of compensating for the influences of eye distance variations on user perception, is proposed.
  • a particularly high level of comfort can be achieved for the user of data glasses comprising the optical system.
  • An “evaluation unit” should in particular be understood to mean a unit with at least one evaluation electronics.
  • evaluation electronics is to be understood in particular as a unit with a processor and with a memory as well as with an operating program stored in the memory.
  • An “interpupillary distance compensation unit” is to be understood in particular as a unit with at least one control electronics.
  • Control electronics should in particular be a unit with a processor and a memory as well as an operating program stored in the memory be understood.
  • the interpupillary distance compensation unit and the evaluation unit can be combined in a common computer system.
  • the interpupillary distance compensation unit generates control signals to compensate for the influences of interpupillary distance variations on user perception based on signals/evaluations of detector signals received by the evaluation unit.
  • the eye distance compensation unit and/or the evaluation unit can each be completely or at least partially integrated into the data glasses or at least partially outsourced to a cloud or the like or to an external user device that can be connected to the data glasses, such as a smartphone or the like.
  • the method according to the invention, the optical system according to the invention and the data glasses according to the invention should not be limited to the application and embodiment described above.
  • the method according to the invention, the optical system according to the invention and the data glasses according to the invention can have a number of individual elements, components and units as well as method steps that deviate from the number of individual elements, components and units as well as method steps mentioned herein in order to fulfill a function of operation described herein.
  • values lying within the stated limits should also be considered disclosed and can be used in any way.
  • Show it: 1 is a schematic representation of data glasses with an optical system
  • FIG. 3 shows a schematic flow diagram of a method for determining and/or correcting changing eye distances in data glasses with virtual retinal displays
  • FIG. 5 shows an exemplary schematic representation of a reflection signal analyzed in the method.
  • the data glasses 14 have a virtual retinal display.
  • the data glasses 14 comprise a spectacle frame 60.
  • the data glasses 14 comprise spectacle lenses 44.
  • the data glasses 14 are intended for a dynamic determination of, in particular changing, eye distances 10, 12.
  • the data glasses 14 are intended for dynamic correction of an output of the virtual retinal display when the eye distances 10, 12 change.
  • the eye distance 10, 12 is determined between a user's eye 18 and the lens 44 of the data glasses 14. 1 shows two different positions of the user's eye 18 as an example, which can arise, for example, from the data glasses 14 slipping on the user's nose.
  • the output of the virtual retinal display is dynamically corrected so that the data glasses 14 can provide a suitable exit pupil/eye relief for both positions. Due to the dynamic correction, the exit pupil/eye relief moves with the user's eye 18, so to speak.
  • the data glasses 14 have an evaluation unit 56.
  • the data glasses 14 have an interpupillary distance compensation unit 58.
  • the data glasses 14 have an optical system 42. 2 shows schematically at least part of the optical system 42.
  • the optical system 42 has a laser projector 48.
  • the laser projector 48 is designed as a scanned laser projector 48.
  • the laser projector 48 is intended to generate and output a scanned laser beam 16.
  • the scanned laser beam 16 generates an image display of the data glasses 14.
  • the scanned laser beam 16 can be provided to determine a pupil position, pupil movement, pupil shape and / or pupil size.
  • the scanned laser beam 16 includes a visible portion, which is intended to output an image to the user's eye 18.
  • the scanned laser beam 16 is intended to output an image display directly onto a retina of the user's eye 18.
  • the scanned laser beam 16 includes an infrared component, which is provided at least for determining a pupil position of the user eye 18.
  • the laser projector 48 is at least partially integrated into the glasses frame 60.
  • the laser projector 48 includes a MEMS mirror system 64 for scanning the scanned laser beam 16.
  • the optical system 42 includes an optical replication element 50.
  • the optical replication element 50 is passed by the scanned laser beam 16.
  • the optical multiplication element 50 is designed as a segmentation lens 46.
  • the optical multiplication element 50 is intended to reproduce at least the infrared portion of the scanned laser beam 16.
  • the optical duplication element 50 forms a penultimate optical element of the optical system 42.
  • the evaluation unit 56 is intended to determine a distance between the optical reproduction element 50 and the user's eye 18.
  • the optical system 42 is partially formed by the lens 44.
  • the spectacle lens 44 includes a last optical element 40 of the optical system 42.
  • the last optical element 40 is passed by the scanned laser beam 16.
  • the last optical element 40 is designed as a holographic optical element (HOE).
  • HOE holographic optical element
  • the HOE is intended to reflect and focus an incident scanned laser beam 16 onto the user eye 18.
  • the last optical element 40 and the penultimate optical element have a fixed distance 62 from one another. This fixed distance 62 can be easily influenced by mechanical stress, but such changes in distance can be neglected when determining the interpupillary distance 10, 12.
  • the evaluation unit 56 is intended to determine the distance between the last optical element 40 and the user eye 18, ie in particular the eye distance 10, 12.
  • the optical system 42 includes a component 66, which is intended to change a position of an exit pupil of the optical system, in particular to generate an eye relief variation.
  • this component 66 could be designed as a movably controllable lens.
  • the optical system 42 has a detector 52.
  • the detector 52 is intended to detect a reflection signal 54 (see FIG. 5) of the scanned laser beam 16, which was also multiplied by the optical multiplication element 50.
  • the detector 52 is designed to be sensitive to infrared light.
  • the detector 52 is integrated into the laser projector 48.
  • the laser projector 48 and the detector 52 are combined in a ViP.
  • the detector 52 communicates detected reflection signals 54 with the evaluation unit 56.
  • the evaluation unit 56 is provided for evaluating the reflection signal 54 detected by the detector 52.
  • the evaluation unit 56 communicates the evaluation results with the interpupillary distance compensation unit 58.
  • the interpupillary distance compensation unit 58 is intended to dynamically control the component 66 with the aim of compensating for the influences of interpupillary distance variations on user perception.
  • FIG. 3 shows a schematic flowchart of a method for determining eye distances 10, 12 between the user's eye 18 and an optical element of the optical system 42 of the data glasses 14 with the virtual retinal display.
  • the method shown in Fig. 3 includes a method for correcting eye reliefs of the optical system 42 and/or a position of the exit pupil of the optical system 42 as a function of the determined eye distance 10, 12 in order to optimize a user perception of the output of the virtual retinal display .
  • the data glasses 14 are put on and activated by the user.
  • the scanned laser beam 16 is generated by the laser projector 48.
  • At least the infrared portion of the scanned laser beam 16 is optically verified by shining through the optical reproduction element 50. diverse!.
  • the scanned laser beam 16 is multiplied by the segmentation lens 46.
  • four image copies 36, 38, 76, 78 are generated, for example.
  • the optically multiplied scanned laser beam 16 is irradiated onto the user eye 18.
  • the four image copies 36, 38, 76, 78 lie in a common image plane 34 forming a pupil plane of the user eye 18 (see FIG. 4).
  • the four image copies 36, 38, 76, 78 are offset from one another in the image plane 34.
  • the four image copies 36, 38, 76, 78 partially overlap.
  • the four image copies 36, 38, 76, 78 overlap in a central area.
  • the four image copies 36, 38, 76, 78 overlap in an area in which the pupil of the user's eye 18 is assumed.
  • At least the infrared portion of the irradiated scanned laser beam 16 is reflected back by the user's eye 18.
  • the back reflection of the infrared portion of the scanned laser beam 16 through a retina of the user's eye 18 is significantly stronger than the back reflection of the infrared portion of the scanned laser beam 16 through parts of the user's eye 18 that are different from the retina, such as an iris of the user's eye.
  • Eye 18 the reflection signal 54 reflected by the user eye 18 is detected by means of the detector 52. The captured images reflected back take place independently of cameras or detectors that are designed separately from the laser projector 48.
  • pupil positions 20, 22, 86, 88 are determined from the detected reflection signal 54 (see FIG. 5).
  • the pupil positions 20, 22, 86, 88 are determined from the reflection signal 54 using the bright pupil effect.
  • relative distances 24, 26 of the pupil positions 20, 22, 86, 88 determined from the reflection signal 54 are determined from one another.
  • relative distances 24', 26' to a common origin point 28 could also be determined.
  • relative distances 24", 26" to reference points 30, 32, 92, 94 could also be determined, each reference point 30, 32, 92, 94 being one of the image copies 36, 38, 76, 78 could be assigned.
  • the current mental eye relief 10 is calculated from the specific relative distances 24, 24', 24", 26, 26', 26".
  • the eye distance 10 is determined between the user eye 18 and the last optical element 40, ie the HOE embedded in the spectacle lens 44, of the optical system 42 through which the scanned laser beam 16 passes.
  • the interpupillary distance 10, 12 in the optical system 42 of the data glasses 14 is determined.
  • the calculation of the eye distance 10 during operation of the data glasses 14 occurs repeatedly.
  • the calculation of the eye distance 10 is repeated periodically.
  • the repetition of the calculation of the eye distance 10 is carried out repeatedly with frequencies of more than 1 Hz. If the data glasses 14 slip, a changed eye distance 12 / a need for a change in the exit pupil / the eye relief 12 is detected in the repeated procedure. For example, if the data glasses 14 slip, the pupil positions 20, 22, 86, 88 change within the individual image copies 36, 38, 76, 78 and thus also within the image plane 34. If, for example, a distance between the user's eye 18 and the last optical Element 40 of the optical system 42 is reduced, the pupil positions 20, 22, 86, 88 move apart in the image plane 34.
  • the new (necessary) eye relief 12 / the new (necessary) position of the exit pupil of the optical system 42 is now determined by the evaluation unit 56.
  • an output of the virtual retinal display of the data glasses 14 is tracked and/or optimized using the eye distance compensation unit 58 based on the calculated eye distance 12 / based on the new eye relief determined as necessary for a proper operation.
  • a focus of the scanned laser beam 16 (visible component and/or infrared component) is tracked and/or optimized based on the calculated eye relief.
  • the intended component 66 of the optical system 42 can be manipulated and/or moved.
  • method step 98 the eye relief of the optical system 42 and/or the position of the exit pupil of the optical system 42 is corrected as a function of the determined interpupillary distance 10, 12.
  • the eye relief of the optical system 42 and/or the position of the output The exit pupil of the optical system 42, preferably the focus of the scanned laser beam 16, is manipulated (in the direction of a user's viewing axis), in particular shifted, in response to a determination of a change in distance between the user's eye 18 and the spectacle lens 44, in such a way that it is also after the change in distance of the eye relief of the optical system 42 and/or the exit pupil of the optical system 42, preferably the focus of the scanned laser beam 16, with a pupil position of the user eye 18, and preferably also with a pupil size of the user eye 18, overlapped.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

Es wird ein Verfahren zumindest zu einer Bestimmung eines Augenabstands (10, 12) zwischen einem Nutzer-Auge (18) und einem optischen Element eines optischen Systems (42) einer Datenbrille (14) mit einer virtuellen Netzhautanzeige (VNA), aufweisend zumindest die Verfahrensschritte (70, 72, 74, 82, 84, 90, 90', 90'', 96): - Erzeugen eines gescannten Laserstrahls (16), - optisches Vervielfältigen des gescannten Laserstrahls (16), - Beleuchten eines Nutzer-Auges (18) durch den optisch vervielfältigten gescannten Laserstrahl (16), - Erfassen eines von dem Nutzer-Auge (18) zurückgeworfenen Reflexionssignals (54), - Ermitteln von Pupillenpositionen (20, 22, 86, 88) innerhalb des erfassten Reflexionssignals (54), - Bestimmen von Relativabständen (24, 24', 24'', 26, 26', 26'') der aus dem Reflexionssignal (54) ermittelten Pupillenpositionen (20, 22, 86, 88) zueinander und/oder zu einem gemeinsamen Ursprungspunkt (28) und/oder zu einem oder mehreren Referenzpunkten (30, 32, 92, 94) und - Berechnen eines momentanen Augenabstands (10, 12) aus den bestimmten Relativabständen (24, 24', 24'', 26, 26', 26''), vorgeschlagen.

Description

Beschreibung
Verfahren zu einer Bestimmung eines Augenabstands in einer Datenbrille und Datenbrille
Stand der Technik
Viele bekannte Datenbrillen arbeiten mit einem konstanten Augenabstand und benötigen daher relativ fixe Verbindungen mit deren Nutzern, z.B. über Bänder oder dergleichen.
Offenbarung der Erfindung
Es wird ein Verfahren zumindest zu einer, insbesondere dynamischen, Bestimmung eines, insbesondere sich verändernden, Augenabstands zwischen einem Nutzer-Auge und einem optischen Element eines optischen Systems, insbesondere eines optimalen Augenabstands (Eye Reliefs), einer Datenbrille mit einer virtuellen Netzhautanzeige (VNA), aufweisend zumindest die Verfahrensschritte: a) Erzeugen eines gescannten Laserstrahls, b) optisches Vervielfältigen des gescannten Laserstrahls, c) Beleuchten des Nutzer-Auges durch den optisch vervielfältigten gescannten Laserstrahl, d) Erfassen eines von dem Nutzer-Auge zurückgeworfenen Reflexionssignals, e) Ermitteln von Pupillenpositionen innerhalb des erfassten Reflexionssignals, f) Bestimmen von Relativabständen der aus dem Reflexionssignal ermittelten Pupillenpositionen zueinander und/oder zu einem gemeinsamen Ursprungspunkt und/oder zu einem oder mehreren Referenzpunkten und g) Berechnen eines momentanen Augenabstands aus den bestimmten Relativabständen, vorgeschlagen. Dadurch kann vorteilhaft ein hoher Tragekomfort für den Benutzer der Datenbrille erreicht werden, insbesondere indem auf eine feste Fixierung der Datenbrille verzichtet werden kann und/oder indem eine hohe Darstellungsqualität und/oder -Zuverlässigkeit auch bei einem Verrutschen der Datenbrille gewährleistet werden kann. Vorteilhaft kann ein Bereich geeigneter Einsatzgebiete für Datenbrillen vergrößert werden. Vorteilhaft kann eine hohe Alltagstauglichkeit von Datenbrillen erreicht werden. Unter einem „Augenabstand“ soll insbesondere eine relative Position des Nutzer-Auges in einem optischen System zu einem und einem letzten vor dem Nutzer-Auge angeordneten optischen Element des optischen Systems verstanden werden. Vorzugsweise soll unter dem Augenabstand ein Abstand zwischen dem Nutzer-Auge und dem letzten vor dem Nutzer-Auge angeordneten optischen Element des optischen Systems, insbesondere dem Brillenglas der Datenbrille, verstanden werden. Vorzugsweise wird in dem Verfahren der optimale Augenabstand (auch Eye Relief genannt) bestimmt. Insbesondere entspricht der optimale Augenabstand der Position des Nutzer-Auges in dem optischen System, insbesondere dem Abstand zwischen dem Nutzer-Auge und dem letzten vor dem Nutzer-Auge angeordneten optischen Element des optischen Systems, bei dem der Nutzer ein gesamtes Sehfeld, insbesondere frei von Vignettierungen oder Beschneidungen, deutlich sehen kann. Insbesondere stimmt bei dem, dem optimalen Augenabstand entsprechenden Abstand eine Größe einer Austrittspupille des optischen Systems mit einer Größe einer Pupille des Nutzer-Auges etwa überein oder ist leicht kleiner als die Größe der Pupille. Insbesondere tritt bei dem optimalen Augenabstand (Eye Relief) die gesamte Austrittspupille/ das gesamte Bild der virtuellen Netzhautanzeige in das Nutzer-Auge ein. Bei einem Fernglas oder Teleskop bezeichnet das Eye Relief beispielsweise den optimalen Abstand zwischen Augenlinsen eines Okulars des Fernglases oder Teleskops und der Pupille des Nutzer-Auges. Insbesondere umfasst das Verfahren einen Verfahrensteil, bei dem eine dynamische Korrektur des Eye Reliefs des optischen Systems, insbesondere des optimalen Augenabstands des optischen Systems, in Abhängigkeit von ermittelten Augenabstands-Änderungen vorgenommen wird. In diesem Verfahrensteil wird insbesondere der optimale Augenabstand des optischen Systems und/oder ein Fokuspunkt der Austrittspupille des optischen Systems an einen tatsächlichen ermittelten Abstand zwischen Nutzer-Auge und Brillenglas der Datenbrille angepasst, vorzugsweise durch eine Manipulation des optischen Systems. Unter einer „Datenbrille“ soll insbesondere ein Wearable (Head-Mounted Display) verstanden werden, mittels welchem Informationen zum Sichtfeld eines Nutzers hinzugefügt werden können. Vorzugsweise ermöglichen Datenbrillen Aug- mented-Reality- und/oder Mixed-Reality-Anwendungen. Datenbrillen werden landläufig auch als Smartglasses bezeichnet. Insbesondere weist die Datenbrille eine virtuelle Netzhautanzeige (VNA), auch Retinal Scanning Display (RSD) genannt, auf. Insbesondere umfasst die virtuelle Netzhautanzeige zumindest einen (gescannten) Laserprojektor. Insbesondere ist der Laserprojektor dazu vorgesehen, den gescannten Laserstrahl zur Erzeugung der Bildanzeige, insbesondere der virtuellen Netzhautanzeige, auszugeben. Insbesondere kann der von dem Laserprojektor ausgegebene Laserstrahl einen weiteren Signalanteil aufweisen, welcher unsichtbar für ein menschliches Auge ist und/oder welcher für andere Aufgaben als die Bildanzeige vorgesehen ist. Beispielsweise kann dieser weitere Signalanteil des gescannten Laserstrahls als ein Infrarot-Lasersignal ausgebildet sein. Insbesondere umfasst der gescannte Laserstrahl eine infrarote Strahlkomponente. Unter „vorgesehen“ soll insbesondere speziell programmiert, ausgelegt und/oder ausgestattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vorgesehen ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt.
Unter einem „optischen Vervielfältigen“ soll insbesondere ein Vervielfältigen unter Verwendung von optischen Elementen und/oder Funktionen, wie beispielsweise Linsen, Spiegeln, Diffraktoren, etc. verstanden werden. Insbesondere ist das optische Vervielfältigen eines Bilds verschieden von einem digitalen Vervielfältigen eines Bilds und einer anschließenden Ausgabe des derart vervielfältigten Bilds durch den Laserprojektor. Insbesondere tritt der gescannte Laserstrahl bei dem Beleuchten des Nutzer-Auges in das Nutzer-Auge ein und beleuchtet zumindest eine Netzhaut des Nutzer-Auges. Insbesondere wechselwirkt die Netzhaut zumindest teilweise reflektierend mit dem gescannten Laserstrahl, insbesondere zumindest mit der infraroten Strahlkomponente des gescannten Laserstrahls. Insbesondere umfasst das Reflexionssignal eine Anzahl Einzelreflexionsbilder, die der Anzahl an Aufspaltungen des Laserstrahls entspricht. Insbesondere können die sich abhängig vom Augenabstand ändernden Pupillenpositionen auf einen gemeinsamen (fixen) Referenzpunkt, z.B. bei vier Bildern auf den Punkt, an dem sich die vier Bilder schneiden, auf jeweils verschiedene (fixe) Referenzpunkte, z.B. eine Kante eines jeweiligen Bilds oder auf (nicht fixe) Referenzpunkte, z.B. die Pupillenpositionen in anderen Bildern, referenziert werden.
Ferner wird vorgeschlagen, dass durch die optische Vervielfältigung des gescannten Laserstrahls zumindest zwei, vorzugsweise zumindest vier, in einer Bildebene, insbesondere in einer Pupillenebene des Nutzer-Auges, zueinander verschoben liegende Bildkopien erzeugt werden. Dadurch kann vorteilhaft eine einfache Überwachung von Änderungen in dem System aus Datenbrille und Nutzer ermöglicht werden. Vorteilhaft kann eine einfache Bestimmung der Relativabstände ermöglicht werden. Vorteilhaft kann ein einfaches Auseinanderhalten der einzelnen durch Vervielfältigung erzeugten Bilder erreicht werden. Vorteilhaft kann eine Auswertung und/oder Berechnung zur Bestimmung des Augenabstands erleichtert werden. Insbesondere sind die Bildkopien zueinander verschoben, aber dennoch teilweise überlappend. Insbesondere existiert ein Bereich in der Bildebene, in dem sich alle vier Bildkopien teilweise überlappen. Alternativ können die Bildkopien jedoch auch überlappungsfrei zueinander sein. Insbesondere wird durch verschoben liegende Bildkopien erreicht, dass zu jedem Zeitpunkt in jeder Bildkopie / in jedem Reflexionsbild die Pupille an einer anderen Bildkoordinate verordnet ist.
Zudem wird vorgeschlagen, dass der Augenabstand zwischen dem Nutzer-Auge, insbesondere einer Pupillenposition des Nutzer-Auges, und einem, insbesondere entlang des Strahlengangs der gescannten Laserstrahlen gesehen, letzten optischen Element des von dem gescannten Laserstrahl durchlaufenen optischen Systems der Datenbrille, vorzugsweise dem Brillenglas der Datenbrille, bestimmt wird. Dadurch kann vorteilhaft eine besonders gute Augenpositionsbestimmung ermöglicht werden, wodurch insbesondere eine besonders effektive und genaue Korrektur vorgenommen werden kann. Insbesondere wird in dem Verfahren ein Abstand zwischen dem die optische Vervielfältigung erzeugenden optischen Element, z.B. einer Segmentierungslinse, und dem Nutzer-Auge gemessen, wobei das die optische Vervielfältigung erzeugende optische Element häufig eine, insbesondere entlang des Strahlengangs der gescannten Laserstrahlen gesehen, vorletzte optische Komponente des optischen Systems darstellt. In der Regel kann jedoch der Abstand zwischen der letzten optischen Komponente und der vorletzten optischen Komponente des optischen Systems als konstant angenommen werden (Ausnahme: starke Biegungs-, Dehnungs- und/oder Stauchungsbeanspruchung der Datenbrille), so dass aus diesem tatsächlich gemessenen Abstand einfach der Augenabstand bestimmt werden kann. Insbesondere ist das letzte optische Element des optischen Systems in ein Brillenglas der Datenbrille eingebettet. Insbesondere ist das letzte optische Element des optischen Systems als ein diffraktives optisches Bauelement (DOE) oder als ein holographisch-optisches Bauelement (HOE) ausgebildet. Unter einem „optischen System“ soll insbesondere eine Anordnung mehrerer optischer Komponenten, insbesondere mit verschiedenen optischen Funktionen, verstanden werden, welches derart aufgebaut ist, dass es von einem einzelnen Lichtstrahl durchlaufen werden kann und/oder dass jedes der optischen Elemente des optischen Systems den gleichen einzelnen Lichtstrahl (zwischen Aussendung und Detektion/Absorption) zumindest einfach, vorzugsweise zumindest zweifach, manipuliert.
Des Weiteren wird vorgeschlagen, dass der gescannte Laserstrahl durch eine Segmentierungslinse vervielfältigt wird. Dadurch kann vorteilhaft eine einfache und/oder kostengünstige Konstruktion erreicht werden. Vorteilhaft ist die Segmentierungslinse von dem Laserstrahl bidirektional durchlaufbar. Insbesondere umfasst die Segmentierungslinse zumindest zwei, vorzugsweise vier, Einzelsegmente, die jeweils in der Bildebene eine der Bildkopien erzeugen. Insbesondere bildet die Segmentierungslinse einen Teil des optischen Systems der Datenbrille. Insbesondere ist die Segmentierungslinse im optischen System der Datenbrille zwischen dem Laserprojektor und dem Brillenglas angeordnet. Prinzipiell sind gleichwirkende Alternativen zu der Segmentierungslinse, wie z.B. geeignete Beamsplitter-Anordnungen, etc., ebenfalls denkbar.
Weiterhin wird vorgeschlagen, dass die Pupillenpositionen aus dem Reflexionssignal unter Ausnutzung des Bright-Pupil-Effekts ermittelt werden. Dadurch kann vorteilhaft eine zuverlässige und/oder einfache Ermittlung der Pupillenposition und damit auch des Augenabstands ermöglicht werden. Der Bright-Pupil- Effekt erzeugt vorteilhaft einen starken Iris/Pupillen-Kontrast, und erlaubt somit eine robuste Augenverfolgung bei allen Irispigmentierungen, welche dadurch insbesondere im Wesentlichen unbeeinflusst durch Störungen durch Wimpern und andere Verdeckungen ist. Der Bright-Pupil-Effekt kommt insbesondere durch das Phänomen zu Stande, dass die Netzhaut einen erhöhten Anteil einfallenden Lichts reflektiert, wenn dessen Wellenlänge im (infraroten) Bereich von etwa 850 nm liegt.
Außerdem wird vorgeschlagen, dass die Berechnung des Augenabstands zumindest im Betrieb der Datenbrille, insbesondere periodisch, vorzugsweise mit Frequenzen von mehr als 1 Hz, wiederkehrend erfolgt. Dadurch kann vorteilhaft eine Dynamik der Augenabstand-Bestimmung und/oder einer Augenabstand- Überwachung erhalten werden. Vorteilhaft kann ein aktives Nachsteuern und/oder eine aktive Korrektur der Austrittspupillenposition, insbesondere des Eye Reliefs, erreicht werden.
Zusätzlich wird vorgeschlagen, dass, insbesondere in dem Verfahrensteil, bei dem die dynamische Korrektur des Eye Reliefs des optischen Systems, insbesondere des optimalen Augenabstands des optischen Systems, in Abhängigkeit von ermittelten Augenabstands-Änderungen vorgenommen wird, eine Ausgabe der virtuellen Netzhautanzeige, insbesondere zumindest ein Fokus zumindest eines sichtbaren Teils des gescannten Laserstrahls, anhand des berechneten Augenabstands, insbesondere dynamisch, nachgeführt und/oder optimiert wird. Dadurch kann vorteilhaft ein hoher Tragekomfort für den Benutzer der Datenbrille erreicht werden, insbesondere indem auf eine feste Fixierung der Datenbrille verzichtet werden kann und/oder indem eine hohe Darstellungsqualität und/oder - Zuverlässigkeit auch bei einem Verrutschen der Datenbrille gewährleitstet werden kann. Insbesondere wird zur Nachführung und/oder Optimierung der Ausgabe der VNA ein Strahlengang des gescannten Laserstrahls dynamisch adaptiv angepasst. Zudem ist denkbar, dass nachgelagerten Systemen der Datenbrille und/oder datenbrillenexternen nachgelagerten Systemen ein Verrutschen (eine Änderung des Augenabstands) mitgeteilt wird. Insbesondere umfasst das optische System dynamisch ansteuerbare Komponenten zur Veränderung eines Fokus des sichtbaren Teils des gescannten Laserstrahls, insbesondere zur Veränderung eines Fokusabstands zwischen dem Fokus des sichtbaren Teils des gescannten Laserstrahls und dem Brillenglas der Datenbrille. Beispielsweise kann das optische System dazu dynamisch ansteuerbare, vorzugsweise dynamisch verfahrbare und/oder verschwenkbare, Linsen oder Linsensysteme umfassen. Wenn die Erfassung der zurückreflektierten Bilder unabhängig zumindest von einer, von einem Laserprojektor der virtuellen Netzhautanzeige getrennt ausgebildeten Kamera erfolgt, kann vorteilhaft eine hohe Kompaktheit für Datenbrillen realisiert werden. Insbesondere umfasst der Laserprojektor zugleich einen Detektor. Insbesondere ist der Detektor in den Laserprojektor integriert ausgebildet. Insbesondere ist der Detektor „on -axis“ mit dem von dem Laserprojektor ausgesandten Laserstrahl angeordnet. Insbesondere sind der Laserprojektor und der Detektor in einem VCESL (vertical-cavity surface-emitting laser) mit integrierter Photodiode (ViP) kombiniert.
Ferner wird das optische System zur Durchführung des vorbeschriebenen Verfahrens vorgeschlagen, aufweisend den Laserprojektor zur Erzeugung des gescannten Laserstrahls, ein optisches Vervielfältigungselement, insbesondere die Segmentierungslinse, zur Vervielfältigung des gescannten Laserstrahls, und den Detektor zu einer Erfassung des Reflexionssignals des gescannten und vervielfältigten Laserstrahls. Vorteilhaft kann ein besonders hoher Tragekomfort für den Nutzer von das optische System umfassenden Datenbrillen erreicht werden.
Zudem wird eine Datenbrille mit dem optischen System und mit einer Auswerteeinheit zu einer Auswertung des von dem Detektor erfassten Reflexionssignals und mit einer Augenabstand-Kompensationseinheit zu einer dynamischen Ansteuerung von Komponenten der Datenbrille, insbesondere des optischen Systems der Datenbrille, wie beispielsweise den dynamisch ansteuerbaren Linsen oder dem dynamisch ansteuerbaren Linsensystem, mit dem Ziel der Kompensation von Einflüssen von Augenabstand-Variationen auf eine Nutzerwahrnehmung , vorgeschlagen. Vorteilhaft kann ein besonders hoher Tragekomfort für den Nutzer von das optische System umfassenden Datenbrillen erreicht werden. Unter einer „Auswerteeinheit“ soll insbesondere eine Einheit mit zumindest einer Auswerteelektronik verstanden werden. Unter einer „Auswerteelektronik“ soll insbesondere eine Einheit mit einem Prozessor und mit einem Speicher sowie mit einem in dem Speicher gespeicherten Betriebsprogramm verstanden werden. Unter einer „Augenabstand-Kompensationseinheit“ soll insbesondere eine Einheit mit zumindest einer Steuerelektronik verstanden werden. Unter einer „Steuerelektronik“ soll insbesondere eine Einheit mit einem Prozessor und mit einem Speicher sowie mit einem in dem Speicher gespeicherten Betriebsprogramm verstanden werden. Insbesondere können die Augenabstand- Kompensationseinheit und die Auswerteeinheit in einem gemeinsamen Rechnersystem kombiniert sein. Insbesondere erzeugt die Augenabstand- Kompensationseinheit Ansteuersignale zur Kompensation der Einflüsse von Augenabstand-Variationen auf eine Nutzerwahrnehmung basierend auf von der Auswerteeinheit empfangenen Signalen / Auswertungen von Detektorsignalen. Insbesondere können die Augenabstand-Kompensationseinheit und/oder die Auswerteeinheit jeweils vollständig oder zumindest teilweise in die Datenbrille integriert sein oder zumindest teilweise in eine Cloud oder dergleichen oder in ein externes mit der Datenbrille verbindbares Nutzergerät, wie ein Smartphone oder dergleichen, ausgelagert sein.
Das erfindungsgemäße Verfahren, das erfindungsgemäße optische System und die erfindungsgemäße Datenbrille sollen hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. Insbesondere kann das erfindungsgemäße Verfahren, das erfindungsgemäße optische System und die erfindungsgemäße Datenbrille zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
Zeichnung
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
Es zeigen: Fig. 1 eine schematische Darstellung einer Datenbrille mit einem optischen System,
Fig. 2 eine schematische Darstellung des optischen Systems,
Fig. 3 ein schematisches Ablaufdiagramm eines Verfahrens zu einer Bestimmung und/oder Korrektur sich verändernder Augenabstände in Datenbrillen mit virtuellen Netzhautanzeigen,
Fig. 4 eine schematische Darstellung einer in dem Verfahren verwendeten Bildebene und
Fig. 5 eine beispielhafte schematische Repräsentation eines in dem Verfahren analysierten Reflexionssignals.
Beschreibung des Ausführungsbeispiels
Die Fig. 1 zeigt eine schematische Darstellung einer Datenbrille 14. Die Datenbrille 14 weist eine virtuelle Netzhautanzeige auf. Die Datenbrille 14 umfasst ein Brillengestell 60. Die Datenbrille 14 umfasst Brillengläser 44. Die Datenbrille 14 ist zu einer dynamischen Bestimmung von, insbesondere sich verändernden, AugenabständenlO, 12 vorgesehen. Die Datenbrille 14 ist zu einer dynamischen Korrektur einer Ausgabe der virtuellen Netzhautanzeige bei sich verändernden Augenabständen 10, 12 vorgesehen. Der Augenabstand 10, 12 wird dabei zwischen einem Nutzer-Auge 18 und dem Brillenglas 44 der Datenbrille 14 bestimmt. In der Fig. 1 sind beispielhaft zwei verschiedene Positionen des Nutzer- Auges 18 dargestellt, welche z.B. durch ein Verrutschen der Datenbrille 14 auf der Nase des Nutzers entstehen können. Ein solches Verrutschen würde ohne eine Nachsteuerung ein Entfernen des Nutzer-Auges 18 von einem Augenabstand eines statischen Systems und somit zumindest einen Sichtfeldverlust bedeuten. Dass die Datenbrille 14 für beide Positionen eine passende Austrittspupille / ein passendes Eye Relief zur Verfügung stellen kann, wird die Ausgabe der virtuellen Netzhautanzeige dynamisch korrigiert. Durch die dynamische Korrektur wandert die Austrittspupille / das Eye Relief sozusagen mit dem Nutzer-Auge 18 mit. Die Datenbrille 14 weist eine Auswerteeinheit 56 auf. Die Datenbrille 14 weist eine Augenabstand-Kompensationseinheit 58 auf. Die Datenbrille 14 weist ein optisches System 42 auf. Die Fig. 2 zeigt schematisch zumindest einen Teil des optischen Systems 42. Das optische System 42 weist einen Laserprojektor 48 auf. Der Laserprojektor 48 ist als ein gescannter Laserprojektor 48 ausgebildet. Der Laserprojektor 48 ist dazu vorgesehen, einen gescannten Laserstrahl 16 zu erzeugen und auszugeben. Der gescannte Laserstrahl 16 erzeugt eine Bildanzeige der Datenbrille 14. Der gescannte Laserstrahl 16 kann zu einer Ermittlung einer Pupillenposition, Pupillenbewegung, Pupillenform und/oder Pupillengröße vorgesehen sein. Der gescannte Laserstrahl 16 umfasst einen sichtbaren Anteil, welcher zur Ausgabe eines Bildes an das Nutzer-Auge 18 vorgesehen ist. Der gescannte Laserstrahl 16 ist dazu vorgesehen, eine Bildanzeige direkt auf eine Netzhaut des Nutzer- Auges 18 auszugeben. Der gescannte Laserstrahl 16 umfasst einen infraroten Anteil, welcher zumindest zu einer Ermittlung einer Pupillenposition des Nutzer- Auges 18 vorgesehen ist. Der Laserprojektor 48 ist zumindest teilweise in das Brillengestell 60 integriert. Der Laserprojektor 48 umfasst ein MEMS- Spiegelsystem 64 zum Scannen des gescannten Laserstrahls 16.
Das optische System 42 umfasst ein optisches Vervielfältigungselement 50. Das optische Vervielfältigungselement 50 wird von dem gescannten Laserstrahl 16 passiert. Das optische Vervielfältigungselement 50 ist als eine Segmentierungslinse 46 ausgebildet. Das optische Vervielfältigungselement 50 ist dazu vorgesehen, zumindest den infraroten Anteil des gescannten Laserstrahls 16 zu vervielfältigen. Das optische Vervielfältigungselement 50 bildet ein vorletztes optisches Element des optischen Systems 42 aus. Die Auswerteeinheit 56 ist dazu vorgesehen, einen Abstand zwischen dem optischen Vervielfältigungselement 50 und dem Nutzer-Auge 18 zu ermitteln. Das optische System 42 ist teilweise von dem Brillenglas 44 gebildet. Das Brillenglas 44 umfasst ein letztes optisches Element 40 des optischen Systems 42. Das letzte optische Element 40 wird von dem gescannten Laserstrahl 16 passiert. Das letzte optische Element 40 ist als ein holographisch-optisches Element (HOE) ausgebildet. Das HOE ist dazu vorgesehen, einen einfallenden gescannten Laserstrahl 16 auf das Nutzer Auge 18 zu reflektieren und zu fokussieren. Das letzte optische Element 40 und das vorletzte optische Element weisen einen zueinander fixen Abstand 62 auf. Durch mechanische Beanspruchungen kann dieser fixe Abstand 62 zwar leicht beeinflusst werden, derartige Abstandsänderungen können jedoch bei der Bestimmung des Augenabstands 10, 12 vernachlässigt werden. Durch eine Berücksichtigung des fixen Abstands 62 ist die Auswerteeinheit 56 dazu vorgesehen, den Abstand zwischen dem letzten optischen Element 40 und dem Nutzer-Auge 18, d.h. insbesondere den AugenabstandlO, 12 zu bestimmen. Das optische System 42 umfasst eine Komponente 66, welche dazu vorgesehen ist, eine Position einer Austrittspupille des optischen Systems zu verändern, insbesondere eine Eye-Relief- Variation zu erzeugen. Beispielhaft könnte diese Komponente 66 als eine beweglich ansteuerbare Linse ausgebildet sein.
Das optische System 42 weist einen Detektor 52 auf. Der Detektor 52 ist zu einem Erfassen eines Reflexionssignals 54 (siehe Fig. 5) des gescannten Laserstrahls 16, welches zudem von dem optischen Vervielfältigungselement 50 vervielfältigt wurde, vorgesehen. Der Detektor 52 ist empfindlich für Infrarotlicht ausgebildet. Der Detektor 52 ist in den Laserprojektor 48 integriert. Der Laserprojektor 48 und der Detektor 52 sind in einem ViP kombiniert. Der Detektor 52 kommuniziert erfasste Reflexionssignale 54 mit der Auswerteeinheit 56. Die Auswerteeinheit 56 ist zur Auswertung des von dem Detektor 52 erfassten Reflexionssignals 54 vorgesehen. Die Auswerteeinheit 56 kommuniziert die Auswerteergebnisse mit der Augenabstand-Kompensationseinheit 58. Die Augenabstand- Kompensationseinheit 58 ist zu einer dynamischen Ansteuerung der Komponente 66 mit dem Ziel der Kompensation von Einflüssen von Augenabstand- Variationen auf eine Nutzerwahrnehmung vorgesehen.
Die Fig. 3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zu einer Bestimmung von Augenabständen 10, 12 zwischen dem Nutzer-Auge 18 und einem optischen Element des optischen Systems 42 der Datenbrille 14 mit der virtuellen Netzhautanzeige. Das in der Fig. 3 gezeigte Verfahren umfasst ein Verfahren zur Korrektur von Eye Reliefs des optischen Systems 42 und/oder von einer Position der Austrittspupille des optischen Systems 42 in Abhängigkeit von dem ermittelten Augenabstand 10, 12 zur Optimierung einer Nutzerwahrnehmung der Ausgabe der virtuellen Netzhautanzeige. In zumindest einem Verfahrensschritt 68 wird die Datenbrille 14 von dem Nutzer aufgesetzt und aktiviert. In zumindest einem weiteren Verfahrensschritt 70 wird der gescannte Laserstrahl 16 von dem Laserprojektor 48 erzeugt. In zumindest einem weiteren Verfahrensschritt 72 wird zumindest der infrarote Anteil des gescannten Laserstrahls 16 durch ein Durchleuchten des optischen Vervielfältigungselements 50 optisch ver- vielfältig!. Der gescannte Laserstrahl 16 wird dabei durch die Segmentierungslinse 46 vervielfältigt. Durch die optische Vervielfältigung des gescannten Laserstrahls 16 werden beispielhaft vier Bildkopien 36, 38, 76, 78 erzeugt. In zumindest einem weiteren Verfahrensschritt 74 wird der optisch vervielfältigte gescannte Laserstrahl 16 auf das Nutzer-Auge 18 eingestrahlt. Die vier Bildkopien 36, 38, 76, 78 liegen in einer eine Pupillenebene des Nutzer-Auges 18 ausbildenden gemeinsamen Bildebene 34 (vgl. Fig. 4). Die vier Bildkopien 36, 38, 76, 78 liegen zueinander verschoben in der Bildebene 34. Die vier Bildkopien 36, 38, 76, 78 überlappen sich teilweise. Die vier Bildkopien 36, 38, 76, 78 überlappen in einem Zentralbereich. Die vier Bildkopien 36, 38, 76, 78 überlappen in einem Bereich, in dem die Pupille des Nutzer-Auges 18 vermutet wird.
In zumindest einem weiteren Verfahrensschritt 80 wird zumindest der infrarote Anteil des eingestrahlten gescannten Laserstrahls 16 von dem Nutzer-Auge 18 zurückreflektiert. Die Rückreflexion des infraroten Anteils des gescannten Laserstrahls 16 durch eine Netzhaut des Nutzer-Auges 18 ist dabei wesentlich stärker als die Rückreflexion des infraroten Anteils des gescannten Laserstrahls 16 durch von der Netzhaut verschiedene Teile des Nutzer-Auges 18, wie z.B. einer Iris des Nutzer-Auges 18. In zumindest einem weiteren Verfahrensschritt 82 wird das von dem Nutzer-Auge 18 zurückgeworfene Reflexionssignal 54 mittels des Detektors 52 erfasst. Die Erfassung der zurückreflektierten Bilder erfolgt dabei unabhängig von Kameras oder Detektoren, die von dem Laserprojektor 48 getrennt ausgebildet sind. In zumindest einem weiteren Verfahrensschritt 84 werden Pupillenpositionen 20, 22, 86, 88 aus dem erfassten Reflexionssignal 54 ermittelt (siehe Fig. 5). Dabei werden die Pupillenpositionen 20, 22, 86, 88 aus dem Reflexionssignal 54 unter Ausnutzung des Bright-Pupil-Effekts ermittelt. In zumindest einem weiteren Verfahrensschritt 90 werden Relativabstände 24, 26 der aus dem Reflexionssignal 54 ermittelten Pupillenpositionen 20, 22, 86, 88 zueinander bestimmt. In einem alternativen oder zusätzlichen Verfahrensschritt 90’ könnten auch Relativabstände 24’, 26’ zu einem gemeinsamen Ursprungspunkt 28 bestimmt werden. In einem weiteren alternativen oder zusätzlichen Verfahrensschritt 90” könnten auch Relativabstände 24”, 26” zu Referenzpunkten 30, 32, 92, 94 bestimmt werden, wobei jeder Referenzpunkt 30, 32, 92, 94 jeweils einer der Bildkopien 36, 38, 76, 78 zugeordnet sein könnte. In zumindest einem weiteren Verfahrensschritt 96 wird mittels der Auswerteeinheit 56 der mo- mentane Augenabstand 10 aus den bestimmten Relativabständen 24, 24’, 24”, 26, 26’, 26” berechnet. Der Augenabstand 10 wird dabei zwischen dem Nutzer- Auge 18 und dem letzten optischen Element 40, d.h. dem in dem Brillenglas 44 eingebetteten HOE, des von dem gescannten Laserstrahl 16 durchlaufenen optischen Systems 42 bestimmt. In dem Verfahrensschritt 96 wird der Augenabstand 10, 12 in dem optischen System 42 der Datenbrille 14 bestimmt.
Die Berechnung des Augenabstands 10 im Betrieb der Datenbrille 14 erfolgt wiederkehrend. Die Wiederholung der Berechnung des Augenabstands 10 erfolgt periodisch. Die Wiederholung der Berechnung des Augenabstands 10 erfolgt wiederkehrend mit Frequenzen von mehr als 1 Hz. Wenn nun die Datenbrille 14 verrutscht, wird in dem wiederholten Verfahren ein veränderter Augenabstand 12 / eine Notwendigkeit einer Veränderung der Austrittpupille/ des Eye Reliefs 12 detektiert. Beispielsweise verändern sich durch ein Verrutschen der Datenbrille 14 die Pupillenpositionen 20, 22, 86, 88 innerhalb der einzelnen Bildkopien 36, 38, 76, 78 und damit auch innerhalb der Bildebene 34. Wenn sich beispielsweise ein Abstand zwischen Nutzer-Auge 18 und letztem optischen Element 40 des optischen Systems 42 verringert, wandern die Pupillenpositionen 20, 22, 86, 88 in der Bildebene 34 auseinander. Das ist exemplarisch durch die Pfeile 100 in der Fig. 5 dargestellt. Anhand einer Auswertung dieser Veränderung der Pupillenpositionen 20, 22, 86, 88 in der Bildebene 34 wird nun von der Auswerteeinheit 56 der neue (notwendige) Eye-Relief 12 / die neue (notwendige) Position der Austrittspupille des optischen Systems 42 bestimmt. In zumindest einem Verfahrensschritt 98 wird bei einer Detektion einer Veränderung eine Ausgabe der virtuellen Netzhautanzeige der Datenbrille 14 anhand des berechneten Augenabstands 12 / anhand des für eine ordnungsgemäße Operation als notwendig ermittelten neuen Eye Reliefs mittels der Augenabstand-Kompensationseinheit 58 nachgeführt und/oder optimiert. Dabei wird ein Fokus des gescannten Laserstrahls 16 (sichtbarer Anteil und/oder infraroter Anteil) anhand des berechneten Eye Reliefs nachgeführt und/oder optimiert. Dazu kann beispielsweise die dafür vorgesehene Komponente 66 des optischen Systems 42 manipuliert und/oder verfahren werden. In dem Verfahrensschritt 98 wird der Eye Relief des optischen Systems 42 und/oder die Position der Austrittspupille des optischen Systems 42 in Abhängigkeit von dem ermittelten Augenabstand 10, 12 korrigiert. In dem Verfahrensschritt 98 wird der Eye Relief des optischen Systems 42 und/oder die Position der Aus- trittspupille des optischen Systems 42, vorzugsweise der Fokus des gescannten Laserstrahls 16, in Reaktion auf eine Ermittlung einer Abstandsänderung zwischen dem Nutzer-Auge 18 und dem Brillenglas 44 derart (in Richtung einer Nut- zer-Blickachse) manipuliert, insbesondere verschoben, dass auch nach der Ab- Standsänderung der Eye Relief des optischen Systems 42 und/oder die Austrittspupille des optischen Systems 42, vorzugsweise der Fokus des gescannten Laserstrahls 16, mit einer Pupillenposition des Nutzer-Auges 18, und bevorzugt auch mit einer Pupillengröße des Nutzer-Auges 18, überlappt.

Claims

Ansprüche
1. Verfahren zumindest zu einer Bestimmung eines Augenabstands (10, 12) zwischen einem Nutzer-Auge (18) und einem optischen Element eines optischen Systems (42) einer Datenbrille (14) mit einer virtuellen Netzhautanzeige (VNA), aufweisend zumindest die Verfahrensschritte (70, 72, 74, 82, 84, 90, 90’, 90”, 96):
- Erzeugen eines gescannten Laserstrahls (16),
- optisches Vervielfältigen des gescannten Laserstrahls (16),
- Beleuchten des Nutzer-Auges (18) durch den optisch vervielfältigten gescannten Laserstrahl (16),
- Erfassen eines von dem Nutzer-Auge (18) zurückgeworfenen Reflexionssignals (54),
- Ermitteln von Pupillenpositionen (20, 22, 86, 88) innerhalb des erfassten Reflexionssignals (54),
- Bestimmen von Relativabständen (24, 24’, 24”, 26, 26’, 26”) der aus dem Reflexionssignal (54) ermittelten Pupillenpositionen (20, 22, 86, 88) zueinander und/oder zu einem gemeinsamen Ursprungspunkt (28) und/oder zu einem oder mehreren Referenzpunkten (30, 32, 92, 94) und
- Berechnen eines momentanen Augenabstands (10, 12) aus den bestimmten Relativabständen (24, 24’, 24”, 26, 26’, 26”).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass durch die optische Vervielfältigung des gescannten Laserstrahls (16) zumindest zwei, vorzugsweise zumindest vier, in einer Bildebene (34), insbesondere in einer Pupillenebene des Nutzer-Auges (18), zueinander verschoben liegende Bildkopien (36, 38, 76, 78) erzeugt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Augenabstand (10, 12) zwischen dem Nutzer-Auge (18), insbesondere einer Pupillenposition des Nutzer-Auges (18), und einem letzten optischen Element (40) des von dem gescannten Laserstrahl (16) durchlaufenen opti- sehen Systems (42) der Datenbrille (14) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Augenabstand (10, 12) zwischen dem Nutzer-Auge (18), insbesondere einer Pupillenposition des Nutzer-Auges (18), und einem Brillenglas (44) der Datenbrille (14) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der gescannte Laserstrahl (16) durch eine Segmentierungslinse (46) vervielfältigt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pupillenpositionen (20, 22, 86, 88) aus dem Reflexionssignal (54) unter Ausnutzung des Bright-Pupil- Effekts ermittelt werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung des Augenabstands (10, 12) zumindest im Betrieb der Datenbrille (14), insbesondere periodisch, vorzugsweise mit Frequenzen von mehr als 1 Hz, wiederkehrend erfolgt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Ausgabe der virtuellen Netzhautanzeige, insbesondere zumindest ein Fokus zumindest eines sichtbaren Teils des gescannten Laserstrahls (16), anhand des berechneten Augenabstands (10, 12) nachgeführt und/oder optimiert wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassung der zurückreflektierten Bilder unabhängig zumindest von einer, von einem Laserprojektor (48) der virtuellen Netzhautanzeige getrennt ausgebildeten Kamera erfolgt. Optisches System (42) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, zumindest mit einem Laserprojektor (48) zu einer Erzeugung eines gescannten Laserstrahls (16), zumindest mit einem optischen Vervielfältigungselement (50), insbesondere einer Segmentie- rungslinse (46), zur Vervielfältigung des gescannten Laserstrahls (16), und mit zumindest einem Detektor (52) zu einer Erfassung eines Reflexionssignals (54) des gescannten und vervielfältigten Laserstrahls (16). 11. Datenbrille (14) mit einem optischen System (42) nach Anspruch 10, mit einer Auswerteeinheit (56) zu einer Auswertung des von dem Detektor (52) erfassten Reflexionssignals (54) und mit einer Augenabstand- Kompensationseinheit (58) zu einer dynamischen Ansteuerung von Komponenten (66) der Datenbrille (14), insbesondere des optischen Systems (42), mit dem Ziel der Kompensation von Augenabstand-Variationen.
PCT/EP2023/051754 2022-03-17 2023-01-25 Verfahren zu einer bestimmung eines augenabstands in einer datenbrille und datenbrille WO2023174605A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022202622.5A DE102022202622A1 (de) 2022-03-17 2022-03-17 Verfahren zu einer Bestimmung eines Augenabstands in einer Datenbrille und Datenbrille
DE102022202622.5 2022-03-17

Publications (1)

Publication Number Publication Date
WO2023174605A1 true WO2023174605A1 (de) 2023-09-21

Family

ID=85122657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/051754 WO2023174605A1 (de) 2022-03-17 2023-01-25 Verfahren zu einer bestimmung eines augenabstands in einer datenbrille und datenbrille

Country Status (2)

Country Link
DE (1) DE102022202622A1 (de)
WO (1) WO2023174605A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023203346A1 (de) 2023-04-13 2024-10-17 Robert Bosch Gesellschaft mit beschränkter Haftung Optikvorrichtung, Datenbrille und Verfahren mit der Datenbrille
WO2024077314A2 (en) * 2023-05-05 2024-04-11 Futurewei Technologies, Inc. Perspective-invariant varifocal eyeglass system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035744A1 (en) * 2013-07-30 2015-02-05 Steve Robbins Near-eye optic positioning in display devices
US20180246336A1 (en) * 2015-09-02 2018-08-30 Eyeway Vision Ltd. Eye projection system and method
US20200186787A1 (en) * 2018-12-11 2020-06-11 Acer Incorporated Stereoscopic display device and parameter calibration method thereof
US20210141231A1 (en) * 2019-11-07 2021-05-13 Htc Corporation Head mounted display apparatus and distance measurement device thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
US10523930B2 (en) 2017-12-29 2019-12-31 Microsoft Technology Licensing, Llc Mitigating binocular rivalry in near-eye displays
CN109613706B (zh) 2019-01-28 2021-05-07 京东方科技集团股份有限公司 针对智能头戴设备的调整方法、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035744A1 (en) * 2013-07-30 2015-02-05 Steve Robbins Near-eye optic positioning in display devices
US20180246336A1 (en) * 2015-09-02 2018-08-30 Eyeway Vision Ltd. Eye projection system and method
US20200186787A1 (en) * 2018-12-11 2020-06-11 Acer Incorporated Stereoscopic display device and parameter calibration method thereof
US20210141231A1 (en) * 2019-11-07 2021-05-13 Htc Corporation Head mounted display apparatus and distance measurement device thereof

Also Published As

Publication number Publication date
DE102022202622A1 (de) 2023-09-21

Similar Documents

Publication Publication Date Title
WO2023174605A1 (de) Verfahren zu einer bestimmung eines augenabstands in einer datenbrille und datenbrille
DE69906139T2 (de) Vorrichtung zum verfolgen von augenbewegungen
EP3411747B1 (de) Projektionsvorrichtung für eine datenbrille, verfahren zum darstellen von bildinformationen mittels einer projektionsvorrichtung und steuergerät
DE19958436B4 (de) Vorrichtung und Verfahren zur aktiven, physiologisch bewerteten, umfassenden Korrektur der Aberrationen des menschlichen Auges
EP1228414B1 (de) Rechnerunterstütztes verfahren zur berührungslosen, videobasierten blickrichtungsbestimmung eines anwenderauges für die augengeführte mensch-computer-interaktion und vorrichtung zur durchführung des verfahrens
DE60117432T2 (de) Verfahren und Gerät zur Simulation eines optischen Okularsystems
DE102011001083A1 (de) Projektorvorrichtung mit Selbstkorrekturfunktion sowie Medizingerät mit der Projektorvorrichtung
DE102009030465A1 (de) Fixationskontrolleinrichtung und Verfahren zur Kontrolle einer Fixation eines Auges
EP2943114B1 (de) Aberrometer (o.ä.) mit astigmatischem target
DE102012012281A1 (de) Augenchirurgie-mikroskop mit einrichtung zur ametropie-messung
DE102015214671B4 (de) Autofokussierende optische Vorrichtung und Verfahren zur optischen Autofokussierung
DE69425866T2 (de) Sucher
DE102010041344A1 (de) Anzeigevorrichtung
DE102010007922A1 (de) Vorrichtung und Verfahren zum Ermitteln eines Pupillenabstandes
DE10348854A1 (de) Verfahren und Vorrichtung zur Ermittlung der Restfehlsichtigkeit eines Patienten
DE102011083352B4 (de) Binokulares Fernrohr mit Dioptrienkorrektur sowie Verfahren zum Durchführen einer Dioptrienkorrektur bei einem binokularen Fernrohr
EP3443883B1 (de) Vorrichtungen und verfahren zur durchführung augenbezogener messungen
DE102015219330A1 (de) Verfahren und Vorrichtung zur Strahlanalyse
DE112021003343T5 (de) Bildanzeigevorrichtung und bildanzeigeverfahren
WO2020165033A1 (de) Projektionsvorrichtung für eine datenbrille, verfahren zum darstellen von bildinformationen mittels einer projektionsvorrichtung und steuergerät
DE102020205910A1 (de) Datenbrille zur virtuellen Netzhautanzeige und Verfahren zum Betreiben derselben
DE10239689B4 (de) Verfahren zur Einstellung einer als Sehhilfe dienenden Linse und adaptive Linse einer Brille
DE102022210271A1 (de) Eye-Tracking-Vorrichtung, Datenbrille und Eye-Tracking-Verfahren
DE102022207025A1 (de) Verfahren zu einem Betrieb einer eine virtuelle Netzhautanzeige umfassenden Datenbrille, Recheneinheit und Datenbrille
WO2006015770A1 (de) System zur wellenfrontmessung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23702264

Country of ref document: EP

Kind code of ref document: A1