WO2002031579A1 - Method and device for transferring optical information onto the human retina - Google Patents

Method and device for transferring optical information onto the human retina Download PDF

Info

Publication number
WO2002031579A1
WO2002031579A1 PCT/EP2000/009842 EP0009842W WO0231579A1 WO 2002031579 A1 WO2002031579 A1 WO 2002031579A1 EP 0009842 W EP0009842 W EP 0009842W WO 0231579 A1 WO0231579 A1 WO 0231579A1
Authority
WO
WIPO (PCT)
Prior art keywords
scanning
projection
retina
image
movement pattern
Prior art date
Application number
PCT/EP2000/009842
Other languages
German (de)
French (fr)
Inventor
Roland H. C. Eberl
Heinrich A. Eberl
Original Assignee
Physoptics Opto-Electronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Physoptics Opto-Electronic Gmbh filed Critical Physoptics Opto-Electronic Gmbh
Priority to PCT/EP2000/009842 priority Critical patent/WO2002031579A1/en
Priority to AU2001210227A priority patent/AU2001210227A1/en
Priority to AU2002215929A priority patent/AU2002215929A1/en
Priority to EP01986772A priority patent/EP1405122B1/en
Priority to AU2002221662A priority patent/AU2002221662A1/en
Priority to US10/551,445 priority patent/US7641342B2/en
Priority to AT01986772T priority patent/ATE367596T1/en
Priority to DE50112749T priority patent/DE50112749D1/en
Priority to DE50112248T priority patent/DE50112248D1/en
Priority to AT01987895T priority patent/ATE357680T1/en
Priority to PCT/EP2001/011634 priority patent/WO2002031581A1/en
Priority to US10/551,443 priority patent/US8113657B2/en
Priority to EP01987895A priority patent/EP1405123B1/en
Priority to PCT/EP2001/011633 priority patent/WO2002033472A2/en
Priority to EP07013946A priority patent/EP1840627B1/en
Priority to ES07013946T priority patent/ES2401132T3/en
Publication of WO2002031579A1 publication Critical patent/WO2002031579A1/en
Priority to US12/646,670 priority patent/US8016421B2/en
Priority to US13/223,825 priority patent/US8944602B2/en
Priority to US13/300,691 priority patent/US8382285B2/en
Priority to US13/749,945 priority patent/US20130135181A1/en
Priority to US14/572,264 priority patent/US9427154B2/en
Priority to US15/235,845 priority patent/US10188288B2/en
Priority to US16/259,496 priority patent/US20190150731A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Abstract

The invention relates to a method for transferring optical information onto the human retina by using a scanning system and an information-projection system, preferably, working serially for transferring an incident image onto the retina. The scanning and projection beam exhibits a predetermined movement pattern and the information depends, preferably, on the signals from the scanning system, whereby the projection process takes place during the scanning process.

Description

Beschreibung description
Verfahren Und Vorrichtung zur Überspiel urig von optischen Informationen auf die menschliche Netzhaut.Method and device for transferring original optical information onto the human retina.
Die Erfindung betrifft ein Verfahren zur Überspiel ung von op- tischer Information auf die menschliche Netzhaut unter Verwendung eines vorzugsweise seriell arbeitenden, ein auf die Netzhaut einfallendes Bild aufnehmenden Scansystems und eines Informations- Projektionssystems, gemäß dem Oberbegriff des Patentanspruchs 1. Ferner bezieht sich die Erfindung auf eine Vorrichtung zur Durch- führung eines Verfahrens.The invention relates to a method for transferring optical information to the human retina using a preferably serial scanning system that records an image incident on the retina and an information projection system according to the preamble of patent claim 1. The invention also relates to a device for performing a method.
Aus der DE 19631414 AI ist eine Vorrichtung zur Aufnahme des Netzhautreflexbildes und zur Überlagerung von Zusatzbildern im Auge bekannt geworden. Dabei wird das Bild auf der Netzhaut des Au- ges mit einem Scannersystem abgetastet und lichtempfindlichen Sensoren zugeführt. Die Sensoren sind mit einem Computersystem gekoppelt, über das sie Signale analysiert, auf geeignete Weise verbessert und zu einem Lichtmodulatorsystem gesendet werden. Durch das Lichtmodulatorsystem werden drei Laser in den Farben rot, grün und blau angesteuert, wobei über geeignete teil durchlässige Spiegel das Licht der drei Laser auf einen gemeinsamen Lichtstrahl zusammengeführt wird. Auf dem gleichen Weg wie das aufgenommene Bild wird dieser Lichtstrahl in das Auge proji ziert.From DE 19631414 AI a device for recording the retinal reflex image and for superimposing additional images in the eye has become known. The image on the retina of the eye is scanned with a scanner system and fed to light-sensitive sensors. The sensors are coupled to a computer system, via which they analyze signals, are suitably improved and sent to a light modulator system. The light modulator system controls three lasers in the colors red, green and blue, the light from the three lasers being brought together into a common light beam via suitable partially transparent mirrors. This light beam is projected into the eye in the same way as the picture taken.
Damit sich der Abtaststrahl und der Projektionsstrahl nicht stören, wird im bekannten Fall so vorgegangen, dass der Projektionsvorgang erst dann anläuft, wenn der Scanvorgang für den gesamten abzutastenden Netzhautreflex abgeschlossen ist. Im bekannten Fall geht man dabei davon aus, dass ein "verbesserter" Bildpunkt erst dann in das Auge projiziert werden kann, wenn der Projekti- onsstrahl beim nächsten Durchlauf genau den Punkt auf der Netzhaut wieder erreicht hat, der zuvor aufgenommen wurde.So that the scanning beam and the projection beam do not interfere, the known procedure is that the projection process only starts when the scanning process for the entire retinal reflex to be scanned has been completed. In the known case, it is assumed that an "improved" pixel can only be projected into the eye when the project on the next pass, it has exactly reached the point on the retina that was previously recorded.
Abgesehen davon, dass das bekannte System hochfrequente Um- schaltvorgänge zwischen Aufnahme und Projektion erfordert, gelingt es mit dem bekannten Verfahren nicht in jedem Fall, die Information, z. B. eine Bildverbesserung, so aufzubringen, dass sie dem momentanen, auf die Netzhaut einfallenden Bild optimal angepasst ist. Denn während der Zeitspanne, die durch das Abschließen des Scanvorgangs, durch den Umschaltvorgang und durch das Nachfahren des Projektionsstrahls zum ausgewählten Aufnahmepunkt vergeht, kann sich das Bild im Auge bereits verändert haben. Darüber hinaus sind hohe Bildwechselfrequenzen erforderlich, um ein Flackern des Bildeindrucks zu unterdrücken.Apart from the fact that the known system requires high-frequency switching processes between recording and projection, the known method does not always succeed in providing the information, eg. B. an image enhancement, so that it is optimally adapted to the current image incident on the retina. The image in the eye may already have changed during the period of time that elapses due to the completion of the scanning process, the switching process and the tracking of the projection beam to the selected recording point. In addition, high frame rates are required to suppress flickering of the image impression.
Der Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1 bzw. eine Vorrichtung gemäß dem Oberbegriff des Patentanspruchs 3 derart weiterzubilden, dass das Spektrum der optischen Information und damit das Anwendungsgebiet des Verfahrens und der Vorrichtung bei verbesserter Genauigkeit und verbesserter Signal Verarbeitung erweitert werden kann.The invention is therefore based on the object of developing a method according to the preamble of patent claim 1 or a device according to the preamble of patent claim 3 such that the spectrum of the optical information and thus the field of application of the method and the device with improved accuracy and improved signal Processing can be expanded.
Die Aufgabe wird hinsichtlich des Verfahrens durch die Merk- male des Patentanspruchs 1 und hinsichtlich der Vorrichtung durch die Merkmale des Patentanspruchs 3 gelöst.The object is achieved with regard to the method by the features of patent claim 1 and with regard to the device by the features of patent claim 3.
Erfindungsgemäß erfolgt die Projektion von Informationen auf die Netzhaut des menschlichen Auges bei laufendem Abtastvorgang. Die Erfindung beruht auf den Gedanken, dass es für die Einspielung der Information in vielen Fällen nicht darauf ankommt, vorab einen kompletten Scanvorgang des auf das Auge einfallenden Bildes vorzunehmen. Die bislang für die Projektion ungenutzte Zeitspanne des Scanvorgangs kann erfindungsgemäß voll für die Aufbereitung und die Einspielung von Information, beispielsweise für die Bildver- besserung herangezogen werden, wodurch es gelingt, die erforderliche Information, wie zum Beispiel ein den Bildpunkt verbesserndes Signal schneller auf die Netzhaut zu proji zieren, oder aber einen vollen Scanzyklus von beispielsweise 20ms optimal zu nutzen, um eine entsprechende Signal Verarbei ung vorzunehmen. Auf diese Weise eröffnet das erfindungsgemäße Verfahren die Möglichkeit, wesentlich komplexere Verarbeitungen in der vorgegebenen Zeitspanne durchführen zu können.According to the invention, information is projected onto the retina of the human eye while the scanning process is ongoing. The invention is based on the idea that in many cases it is not important for the information to be imported that a complete scanning operation of the image incident on the eye is carried out beforehand. The period of time of the scanning process which was previously unused for projection can, according to the invention, be fully used for the preparation and import of information, for example for image processing. improvement can be used, as a result of which it is possible to project the required information, such as a signal that improves the image point, more quickly onto the retina, or to optimally use a full scan cycle of, for example, 20 ms in order to carry out a corresponding signal processing. In this way, the method according to the invention opens up the possibility of being able to carry out much more complex processing in the specified period of time.
Vorteilhafte Weiterbildungen der Erfindungen sind Gegenstand der Unteransprüche.Advantageous developments of the inventions are the subject of the dependent claims.
Vorteilhafter Weise läuft nach einem partiellen Abtasten des Bildes ein partieller Projektionsvorgang ab. Der dabei abgetastete Bereich kann eine Linie, eine Fläche, eine Bildpunktsequenz oder aber auch ein einzelner Bildpunkt sein.A partial projection process advantageously takes place after a partial scanning of the image. The area scanned can be a line, a surface, a pixel sequence or even a single pixel.
Wenn gemäß Anspruch 4 ein seriell arbeitendes Scan- und Projektionssystem mit vorbestimmten Bewegungsmustern des Abtast- und Projektionsstrahls Anwendung findet, gibt es grundsätzlich zwei vorteilhafte Ausgestaltungen der Vorrichtung.If, according to claim 4, a serially operating scanning and projection system with predetermined movement patterns of the scanning and projection beam is used, there are basically two advantageous configurations of the device.
Gemäß Anspruch 4 eilt der Strahl des projizierten Lichts dem Strahl des aufgenommenen Lichts nach. Diese Ausführungsform hat den Vorteil, dass sie nach wie vor mit einer Anordnung arbeiten kann, bei der der Strahlengang des Scan- und des Projektionssystems deckungsgleich ist. Um jedoch hochfrequente Umschaltvorgänge zwischen Aufnahme- und Projektionsbetrieb zu vermeiden, kann dieses System vorteilhafter Weise auch mit getrennten Scan- und Pro- jektionssyste en ausgestattet werden.According to claim 4, the beam of the projected light lags behind the beam of the received light. This embodiment has the advantage that it can still work with an arrangement in which the beam path of the scanning and projection systems is congruent. However, in order to avoid high-frequency switching processes between recording and projection operation, this system can advantageously also be equipped with separate scanning and projection systems.
Vorzugsweise entspricht der minimale zeitliche Versatz zwischen Aufnahme und Projektion eines Bildpunkts im Wesentlichen der Verarbeitungszeit des zuvor aufgenommenen Bildsignals bzw. der zu- vor aufgenommenen Bildsignale. Wenn getrennte Systeme für das Abtasten des auf die Netzhaut einfallenden Bildes und ' für die Projektion von Informationen auf die Netzhaut vorgesehen sind, ist es von Vorteil, die Vorrichtung gemäß Anspruch 7 auszubilden. Da die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander versetzt sind, können das Scan- und das Projektionssystem nahezu ungehindert parallel arbeiten, wodurch zusätzliche Zeit für die Signal Verarbeitung gewonnen wird. Um die Bewegungsmuster des Abtast- und Projektionsstrahls besonders einfach synchronisieren zu können, ist es von Vorteil, die Bewegungsmuster zueinander in vorbestimmter Art und Weise zu versetzen. Dies kann beispielsweise dadurch geschehen, dass die Bewegungsmuster um einen vorbestimmten kleinen Winkel lageversetzt werden, oder dadurch, dass die Bewegungsmuster zueinander um einen vorbestimmten kleinen Abstand radial zueinander versetzt werden.The minimum time offset between the recording and projection of a pixel essentially corresponds to the processing time of the previously recorded image signal or the previously recorded image signals. If separate systems are provided for the light incident on the retinal image and 'for the projection of information onto the retina scanning, it is advantageous to design the device according to claim. 7 Since the movement patterns of the scanning and projection beams are offset from one another, the scanning and projection systems can work in parallel almost without hindrance, which saves additional time for signal processing. In order to be able to synchronize the movement patterns of the scanning and projection beam in a particularly simple manner, it is advantageous to offset the movement patterns in relation to one another in a predetermined manner. This can be done, for example, by shifting the movement patterns by a predetermined small angle, or by shifting the movement patterns radially from one another by a predetermined small distance.
Bezüglich der Komponenten für die Realisierung des Scan- und des Projektionssystems kann auf diejenigen Bauteile zurückgegriffen werden, die bereits in der DE 196 31 414 AI be- schrieben sind. Auch können die in dieser früheren Patentanmeldung beschriebenen Bewegungsmuster für den Abtast- und den Projektionsstrahl Anwendung finden. Für den Fall, dass getrennte Systeme für den Scanvorgang und den Projektionsvorgang verwendet werden, ist es zur Realisierung der nötigen Synchronisation der beiden Bewe- gungsmuster von Vorteil, mit Scannerspiegeln aus dem Gebiet der Microssystemtechnik zu arbeiten, wobei beispielsweise beide Scannerspiegel auf einem Mikrochip angeordnet werden können.With regard to the components for the implementation of the scanning and projection system, use can be made of those components which are already described in DE 196 31 414 AI. The movement patterns described in this earlier patent application can also be used for the scanning and projection beams. In the event that separate systems are used for the scanning process and the projection process, in order to achieve the necessary synchronization of the two movement patterns, it is advantageous to work with scanner mirrors from the field of micro system technology, for example both scanner mirrors being arranged on a microchip can.
Gemäß einer vorteilhaften Weiterbildung entspricht das Bewe- gungsmuster des Abtast- und/oder Projektionsstrahls einer Spirale. Dies hat im Vergleich zu der Ausführungsform gemäß Anspruch 14 den Vorteil, dass kein Zeilensprung durchlaufen werden muss.According to an advantageous development, the movement pattern of the scanning and / or projection beam corresponds to a spiral. In comparison to the embodiment according to claim 14, this has the advantage that there is no need to move through lines.
Wenn eine Scanspirale bzw. ein Kreis- oder Ellipsenscan An- Wendung findet, ist es vorteilhaft, die einzelnen Bahnen mit un- terschiedlichem Abstand zueinander verlaufen zu lassen, wobei im Zentrum der Spirale bzw. der konzentrischen Kreise oder Ellipsen der Abstand zwischen den Bahnen kleiner sein sollte und sich mit dem Abstand zum Mittelpunkt der Spiral- bzw. der konzentrischen Kreisanordnung vergrößert. Dadurch wird im Bereich des Zentrums des Bewegungsmusters, in dem sich auch die fovea centralis der Netzhaut befindet und in dem die Dichte der lichtempfindlichen Zellen größer ist, eine entsprechend höhere Auflösung erreicht.If a scan spiral or a circle or ellipse scan is used, it is advantageous to different distance to each other, the distance between the orbits should be smaller in the center of the spiral or concentric circles or ellipses and increase with the distance to the center of the spiral or concentric circle arrangement. As a result, a correspondingly higher resolution is achieved in the area of the center of the movement pattern, in which the fovea centralis of the retina is also located and in which the density of the light-sensitive cells is greater.
Für die Steuerung des Abtast- und Projektionsstrahls entlang der vorgegebenen Bewegungsbahn gibt es mehrere vorteilhafte Varianten, die Gegenstand der Ansprüche 15 bis 17 sind. Besonders vorteilhaft ist die Ausgestal ung gemäß Anspruch 17, da diese Art der Strahl führung der Physiologie des menschlichen Auges optimal ange- paßt ist.There are several advantageous variants for controlling the scanning and projection beam along the specified path of motion, which are the subject of claims 15 to 17. The embodiment according to claim 17 is particularly advantageous since this type of beam guidance is optimally adapted to the physiology of the human eye.
Weitere vorteilhafte Ausgestaltungen sind Gegenstand der übrigen Unteransprüche.Further advantageous embodiments are the subject of the remaining subclaims.
Nachstehend werden anhand systematischer Zeichnungen mehrere Ausführungsbeispiele der Erfindung näher erläutert. Es zeigen:Several exemplary embodiments of the invention are explained in more detail below with the aid of systematic drawings. Show it:
Figur 1 eine schematische Ansicht einer Vorrichtung zur Überspielung von Information auf die menschliche Netzhaut in Form ei- nes interaktiven Brillensystems;FIG. 1 shows a schematic view of a device for transferring information to the human retina in the form of an interactive glasses system;
Figur 2A ein herkömmliches Bewegungsmuster und das zugehörige Zeitdiagramm für den Abtaststrahl der Vorrichtung;Figure 2A shows a conventional movement pattern and associated timing diagram for the scanning beam of the device;
Figur 2B ein herkömmliches Bewegungsmuster und das zugehörige Zeitdiagramm für den Projektionsstrahl der Vorrichtung;FIG. 2B shows a conventional movement pattern and the associated time diagram for the projection beam of the device;
Figuren 3A bis 7A weitere Ausführungsformen einer interaktiven Brille, die mit einer erfindungsgemäßen Vorrichtung ausgestat- tet werden können; Figuren 3B bis 7B eine Detail zeichungen von in den Figuren 3A bis 7A dargestellten Signalerfassungs- und Projektionsvorrichtungen;FIGS. 3A to 7A show further embodiments of interactive glasses that can be equipped with a device according to the invention; FIGS. 3B to 7B show detailed drawings of the signal detection and projection devices shown in FIGS. 3A to 7A;
Figur 8 eine schematisierte perspekti ische Darstellung einer Modifikation der Signalerfassungs- und Projektionsvorrichtung, bei der die beiden Vorrichtungen getrennte Strahlengänge haben;FIG. 8 shows a schematic perspective illustration of a modification of the signal detection and projection device, in which the two devices have separate beam paths;
Figur 9A und 9B schematische Darstellungen zur Verdeutlichung einer ersten Ausführungsform des Aufnahme- und Wiedergabezyklus unter Berücksichtigung entsprechender Bewegungsmuster des Abtast- und Projektionsstrahls entsprechend einer Halbbild-Aufnahme/Wiedergabetechnik mit zugehörigem Zeitdia- gramm;FIGS. 9A and 9B are schematic representations to illustrate a first embodiment of the recording and reproduction cycle, taking into account corresponding movement patterns of the scanning and projection beam in accordance with a field recording / reproduction technique with the associated time diagram;
Figur 10A und 10B schematische Darstellungen zur Verdeutlichung einer zweiten Ausführungsform des Aufnahme- und Wiedergabezyklus basierend auf einem kreissequentiellen Scan- und Projekti- onsmodus des Abtast- und Projektionsstrahls entsprechend einer Vollbild-Aufnahme-/Wiedergabetechnik mit zugehörigem Zeitdiagramm;10A and 10B are schematic representations to illustrate a second embodiment of the recording and reproduction cycle based on a circular sequential scanning and projection mode of the scanning and projection beam in accordance with a full-picture recording / reproduction technique with associated time diagram;
Figur HA und 11B schematische Darstellungen zur Verdeutlichung einer dritten Ausführungsform des Aufnahme- und Wiedergabe- zyklus basierend auf einem kreissequentiellen Scan- und Projektionsmodus des Abtast- und Projektionsstrahls entsprechend einer Vollbild-Aufnahme-VWiedergabetechnik mit zugehörigem Zeitdiagramm;FIGS. HA and 11B are schematic representations to illustrate a third embodiment of the recording and reproduction cycle based on a circle-sequential scanning and projection mode of the scanning and projection beam according to a full-picture recording-V reproduction technique with associated time diagram;
Figur 12A und 12B schematische Darstellungen zur Verdeutli- chung einer vierten Ausführungsform des Aufnahme- und Wiedergabezyklus basierend auf einem pixel sequentiellen Scan- und Projektionmodus des Abtast- und Projektionsstrahls entsprechend einer Vollbild-Aufnahme-/Wiedergabetechnik mit zugehörigem Zeitdiagramm; Figur 13A und 13B schematische Darstellungen zur Verdeutlichung einer einer fünften Ausführungsform des Aufnahme- und Wiedergabezyklus basierend auf einem pixelsequentiellen Scan- und Projektionmodus des Abtast- und Projektionsstrahls entsprechend einer Voπbild-Aufnahme~/Wiedergabetechnik mit zugehörigem Zeitdiagramm;FIGS. 12A and 12B are schematic representations to illustrate a fourth embodiment of the recording and reproduction cycle based on a pixel sequential scanning and projection mode of the scanning and projection beam in accordance with a full-picture recording / reproduction technique with associated time diagram; FIGS. 13A and 13B are schematic representations to illustrate a fifth embodiment of the recording and reproduction cycle based on a pixel-sequential scanning and projection mode of the scanning and projection beam in accordance with a still image recording / reproduction technique with associated time diagram;
Figur 14 eine schematische (vergrößerte) Ansicht eines modifizierten Bewegungsmusters für den Abtast- und Projektionsstrahl;FIG. 14 is a schematic (enlarged) view of a modified movement pattern for the scanning and projection beam;
Figur 15 eine schematische Darstellung einer modifizierten Lagezuordnung zwischen Abtast- und Proktionsstrahl ;FIG. 15 shows a schematic illustration of a modified position assignment between the scanning beam and the production beam;
Figur 16 eine schematisierte Ansicht eines Scan- und Projek- tionsstrahl -Bewegungsmustersmusters, wobei die Bewegungsmuster spurgleich durchlaufen werden;FIG. 16 shows a schematic view of a scan and projection beam movement pattern, the movement patterns being traversed in the same way;
Figur 17 eine schematische Ansicht zur Verdeutlichung des Strahlengangs bei einer weiteren Ausführungsform der Vorrichtung zur Überspiel ung von optischer Information auf die menschliche Netzhaut; undFIG. 17 shows a schematic view to illustrate the beam path in a further embodiment of the device for transferring optical information onto the human retina; and
Figur 1 zeigt den grundsätzlichen Aufbau einer Vorrichtung zur Überspielung von optischen Informationen auf die menschliche Netzhaut in der Ausgestaltung eines Informationssystems 100. Das Informationsystem 100 ist in Form eines interaktiven Brillensy- stems 120 bzw. einer interaktiven Brille 120 ausgeführt, die zwei optische Vorrichtungen 150 umfaßt. Bevorzugt befinden sich die optischen Vorrichtungen 150 jeweilig auf einer Innenseite eines lin- ken 121L oder rechten 121R Bügelteils der Brille 120. Je nach Anwendungsbereich sind auch andere, die Sicht nicht störende Anordnungen der optischen Vorrichtungen, z.B. im Bereich eines über die Nasenwurzel eines Benutzers verlaufenden Nasenstegs 122 der Brille 120, sinnvoll . Die optische Vorrichtung 150 der Brille 120 ist über Verbindungsleitungen 101 an eine Prozessoreinheit 140 angeschlossen. Sind Photodetektoren und/oder Lichtquellen von den optischen Vorrichtungen umfaßt, dienen die Verbindungsleitungen zur Übertragung von elektrischen Detektor- bzw. Steuersignalen. Die Photodetektoren bzw. Lichtquellen können jedoch in der Prozessoreinheit 140 angeordnet und über lichtleitende Verbindungsleitungen 101 an die optischen Vorrichtungen 150 der Brille 120 angeschlossen werden. Dies trägt zur Gewichtsreduktion der Brille 120 bei.FIG. 1 shows the basic structure of a device for transferring optical information onto the human retina in the form of an information system 100. The information system 100 is designed in the form of an interactive glasses system 120 or interactive glasses 120, which comprises two optical devices 150 , The optical devices 150 are preferably located on the inside of a left 121L or right 121R temple part of the glasses 120. Depending on the area of application, there are also other arrangements of the optical devices which do not obstruct the view, for example in the area of a device running over the nose of a user Nose bridge 122 of glasses 120 makes sense. The optical device 150 of the glasses 120 is connected to a processor unit 140 via connecting lines 101. If photodetectors and / or light sources are included in the optical devices, the connecting lines serve for the transmission of electrical detector or control signals. However, the photodetectors or light sources can be arranged in the processor unit 140 and connected to the optical devices 150 of the glasses 120 via light-conducting connecting lines 101. This contributes to the weight reduction of the glasses 120.
Anhand der Figuren 2A und 2B ist dargestellt, wie herkömmlicherweise das auf die Netzhaut einfallende Bild - im bekannten Fall der Netzhautreflex - abgetastet und wie anschließend Informationssignale, die beispielsweise zu einer Bildverbesserung führen sol- len, auf die Netzhaut proji ziert werden. Das Abtast- Bewegungsmuster ist in Figur 2 als Kreis-Scan-Bewegung anhand von einigen ausgewählten konzentrischen Kreisringen angedeutet. Es soll jedoch hervorgehoben werden, daß gleichermaßen ein Zeilenoder Spiral scan Anwendung finden kann. Man erkennt aus dem Zeit- diagramm, daß in einer Zeitspanne von 20ms (entsprechend einer Aufnahme-/Wiedergabe-Frequenz von 50Hz) ein Vollbild erfaßt wird. Figur 2B zeigt, daß anschließend mit kongruentem Bewegungsmuster wiederum innerhalb von 20ms ein Vollbild auf die Netzhaut überspielt wird, wobei der Projektionsstrahl, der ebenso wie bei der Aufnahme gleichzeitig die Strahlung aller Grundfarben rot, grün und blau projizieren kann, pixelgenau Information auf die Netzhaut überspielen kann. Das Überspielen der Information erfolgt somit im bekannten Fall erst dann, wenn ein Vollbild gescannt und in der Prozessur 140 ausgewertet worden ist.FIGS. 2A and 2B show how conventionally the image incident on the retina - in the known case the retinal reflex - is scanned and how information signals, which should lead to an image improvement, for example, are subsequently projected onto the retina. The scanning movement pattern is indicated in FIG. 2 as a circular scan movement on the basis of a few selected concentric circular rings. However, it should be emphasized that a line scan or spiral scan can equally be used. It can be seen from the time diagram that a full image is acquired over a period of 20 ms (corresponding to a recording / playback frequency of 50 Hz). FIG. 2B shows that with a congruent movement pattern, a full image is again transferred to the retina within 20 ms, the projection beam, which, like the image, can simultaneously project the radiation of all primary colors red, green and blue, transfer information onto the retina with pixel accuracy can. In the known case, the information is therefore only transferred when a full image has been scanned and evaluated in the processor 140.
Die erfindungsgemäße Vorrichtung zur Überspiel ung von optischen Informationen auf die menschliche Netzhaut läßt sich mit Aufnahme- und Projektionsvorrichtungen gemäß der älteren Patentanmeldung DE 196 31 414 ebenso wie mit einem modifizierten Aufbau einer in- teraktiven Brille gemäß den Figuren 3 bis 5 realisieren, der nachfolgend näher beschrieben werden soll.The device according to the invention for transferring optical information onto the human retina can be used with recording and projection devices according to the older patent application DE 196 31 414 as well as with a modified structure of an internal Realize interactive glasses according to Figures 3 to 5, which will be described in more detail below.
Figur 3 zeigt eine Ausführungsform des wie oben beschriebenen, in- teraktiven Brillensystems bzw. Brille 320, bei der eine Signalerfassungsvorrichtung in Form einer scannenden Augenabtastvorrich- tung 350D vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 302 samt Brille 320 mit rechtem Bügel teil 321R dar, während die rechte Bildhälfte ein durch den linken Bügel teil 321L verlaufenden Querschnitt der Brille 320 wiedergibt. Außer der zur interaktiven Brille 320 gehörenden Vorrichtungen sind in der Figur 3 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.FIG. 3 shows an embodiment of the interactive glasses system or glasses 320 as described above, in which a signal detection device in the form of a scanning eye scanner 350D is provided. The left half of the image represents a top view of the head of a user 302 together with glasses 320 with a right temple part 321R, while the right half of the image shows a cross section of the glasses 320 running through the left temple part 321L. Apart from the devices belonging to the interactive glasses 320, no further components of the information system 100 according to the invention are shown in FIG.
Gemäß der abgebildeten Ausführungsform werden auf das Auge 380 fallende Lichtstrahlen 333a und 333b, die beispielsweise aus dem Gesichtsfeld stammen, von der Linse 382 auf der Netzhaut 381 als zusammenhängendes Bild scharf abgebildet und von ihr als Netzhautreflexbild zurückreflektiert. Ein so zurückreflektierter Licht- strahl 331 passiert in umgekehrte Richtung erneut die Linse 382, wird über zwei, zum Spiegel system der Brille 320 gehörende konkave Spiegel 322 und 323 fokussiert und wie abgebildet auf eine scannende Augenabtastvorrichtung 350D gelenkt. Die Augenabtastvorrich- tung 350D umfaßt eine Signal erfassungsvorrichtung 351 in Form ei- nes Fotodetektors 351, der den von der Netzhaut 381 zurückreflektierten Lichtstrahl 331 erfaßt, sowie zwei bewegliche Flachspiegel 352H und 353V, die eine horizontale bzw. vertikale Ablenkung des Lichtstrahls 331 auf den Fotodetektor 351 bewirken. Gemäß der Ausführung der Figur 3 umfaßt die Brille 320 zusätzlich eine Lichtfalle 324, die einen Lichteinfall aus unerwünschten Einfall srichtungen verhindert. Zur Vereinfachung . des Spiegelsystem der Brille 320 kann der Spiegel 323 durch eine verspiegelte Innenoberfläche des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Erfassung des gesamten Netzhautreflexbildes auch bei einer eventuellen ver- drehten Stellung des Auges 380 zu ermöglichen. Dies schränkt wiederum die Gestaltungsmöglichkeiten der Brille 320 ein.According to the illustrated embodiment, light rays 333a and 333b falling on the eye 380, which originate, for example, from the visual field, are sharply imaged by the lens 382 on the retina 381 as a coherent image and reflected back by it as a retinal reflex image. A light beam 331 reflected back in this way again passes through the lens 382 in the opposite direction, is focused via two concave mirrors 322 and 323 belonging to the mirror system of the glasses 320 and, as shown, directed onto a scanning eye scanner 350D. The eye scanning device 350D comprises a signal detection device 351 in the form of a photodetector 351, which detects the light beam 331 reflected back by the retina 381, and two movable flat mirrors 352H and 353V, which horizontally and vertically deflect the light beam 331 onto the photodetector 351 effect. According to the embodiment in FIG. 3, the glasses 320 additionally comprise a light trap 324 which prevents light from coming in from undesired directions of incidence. For simplification . In the mirror system of the glasses 320, the mirror 323 can be realized by a mirrored inner surface of the glasses. However, the surface must have a certain shape in order to record the entire retinal reflex image even in the event of a possible to allow rotated position of the eye 380. This in turn limits the design options for the glasses 320.
Durch die Kombination eines punktförmigen Detektors 351 mit ent- sprechender Steuerung der Flachspiegel 352H und 352V erfolgt eine serielle punktuelle Abtastung des Netzhautreflexbildes als Bildpunktfolge. Bevorzugt wird die Netzhaut 381, wie in der DE 196 31 414 AI und der DE 197 28 890 beschrieben, mit einem kreis-, Spiral- oder ellipsenförmigen Scanmuster abgetastet. Dies hat den Vorteil, daß die Flachspiegel 352 ohne rückartigen Bewegungen angetrieben werden können, und daß eine höhere Bildpunktdichte (Anzahl der Bildpunkte pro Flächeneinheit der Netzhaut) im Bereich der Fovea centralis 1886 (vgl. Figur 18) sich erfassen läßt.The combination of a point-shaped detector 351 with corresponding control of the flat mirrors 352H and 352V results in a serial point-by-point scanning of the retinal reflex image as a sequence of pixels. Preferably, the retina 381, as described in DE 196 31 414 AI and DE 197 28 890, is scanned with a circular, spiral or elliptical scan pattern. This has the advantage that the flat mirrors 352 can be driven without backward movements and that a higher pixel density (number of pixels per unit area of the retina) in the area of the fovea centralis 1886 (cf. FIG. 18) can be detected.
Figur 4 zeigt eine an sich bekannte Ausführungsform der wie oben beschriebenen, interaktiven Brille 420, bei der eine Ausgabevorrichtung in Form einer scannenden Projektionsvorrichtung 450P vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 402 samt Brille 420 mit rechtem Bügel teil 421R dar, während die rechte Bildhälfte ein durch den linken Bügelteil 421L verlaufenden Querschnitt der Brille 420 wiedergibt. Außer der zur interaktiven Brille 420 gehörenden Vorrichtungen sind in der Figur 2 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.FIG. 4 shows a known embodiment of the interactive glasses 420 as described above, in which an output device in the form of a scanning projection device 450P is provided. The left half of the image represents a top view of the head of a user 402 together with glasses 420 with the right temple part 421R, while the right half of the image shows a cross section of the glasses 420 running through the left temple part 421L. Apart from the devices belonging to the interactive glasses 420, no further components of the information system 100 according to the invention are shown in FIG.
Gemäß der abgebildeten Ausführungsform umfaßt die scannende Projektionsvorrichtung 450P eine einen Projektionslichtstrahl 432 emittierende Lichtquelle 453, beispielsweise eine Laserdiode oder eine über ein Linsensystem fokusierte LED, sowie zwei bewegliche Flachspiegel 454H und 454V. Der Projektionslichtstrahl 432 wird über die beweglichen Flachspiegel 454H und 454V auf ein Spiegel System der Brille 420 gelenkt, das zwei konkave Spiegel 422 und 423 umfaßt, die den Projektionslichtstrahl 432 auf die Linse 482 eines Auges 480 und schließlich auf die Netzhaut 481 wirft. Zur Verein- fachung des Spiegel System der Brille 420 kann der Spiegel 423 durch eine verspiegelte Innenoberfläche des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Projektion auf alle Bereiche der Netzhaut 481 auch bei einer eventuellen verdrehten Stellung des Auges 480 zu ermöglichen. Dies schränkt wiederum die Gestaltungsmöglichkeiten der Brille 420 ein. Zur Vermeidung störender Lichteinfälle läßt sich die Brille 420 mit einer Lichtfalle 424 ausstatten, die Lichteinfälle aus unerwünschten Einfallsrichtungen verhindert.According to the illustrated embodiment, the scanning projection device 450P comprises a light source 453 emitting a projection light beam 432, for example a laser diode or an LED focused via a lens system, and two movable flat mirrors 454H and 454V. The projection light beam 432 is directed via the movable flat mirrors 454H and 454V onto a mirror system of the glasses 420 which comprises two concave mirrors 422 and 423, which throw the projection light beam 432 onto the lens 482 of an eye 480 and finally onto the retina 481. In order to simplify the mirror system of the glasses 420, the mirror 423 can be realized by a mirrored inner surface of the spectacle lens. However, the surface must have a certain shape in order to enable a projection onto all areas of the retina 481 even if the eye 480 is possibly rotated. This in turn limits the design options for the glasses 420. To avoid disturbing incidence of light, the glasses 420 can be equipped with a light trap 424, which prevents incidence of light from undesired directions of incidence.
Durch die Kombination einer punktförmigen Lichtquelle 453 mit entsprechender Steuerung der Flachspiegel 452H und 452V, die jeweils eine horizontale bzw. vertikale Ablenkung des Projektionslichtstrahls 432 bewirken, erfolgt eine serielle punktuelle Projektion eines Bildes. Bevorzugt erfolgt die Projektion, wie in der DE 196 31 414 AI und der DE 197 28 890 beschrieben, mit einem kreis-, spiral- oder ellipsenförmigen Scanmuster. Dies hat den Vorteil, daß die Flachspiegel 452 ohne rückartigen Bewegungen angetrieben werden können, und daß sich eine höhere Bildpunktdichte im Bereich der Fovea centralis 286 auf die Netzhaut 481 projizieren läßt.The combination of a punctiform light source 453 with corresponding control of the flat mirrors 452H and 452V, which each cause a horizontal or vertical deflection of the projection light beam 432, results in a serial punctiform projection of an image. The projection, as described in DE 196 31 414 AI and DE 197 28 890, is preferably carried out using a circular, spiral or elliptical scan pattern. This has the advantage that the flat mirrors 452 can be driven without backward movements and that a higher pixel density in the area of the fovea centralis 286 can be projected onto the retina 481.
Der Grad der Wahrnehmung eines in das Auge 480 proji zierten Bildes kann im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der proji zierten Bildpunkte gesteuert werden. Allerdings ist die retinale Wahrnehmung ein zutiefst komplexer Vorgang, bei der auch psychologische Effekte eine sehr starke Rolle spielen. Hier wird auf die einschlägige Fachliteratur verwiesen.The degree of perception of an image projected into the eye 480 can be controlled in relation to the naturally perceived image by the brightness of the projected pixels. However, retinal perception is a deeply complex process in which psychological effects also play a very strong role. Here, reference is made to the relevant specialist literature.
Vereinfacht läßt sich jedoch sagen, daß die Retina 481 sich auf die Helligkeit des insgesamt auf sie fallenden Lichtes einstellt. Es ist zum Beispiel bekannt, daß das geringe Leuchten der Uhr eines Radioweckers, das bei Tageslicht gar nicht wahrgenommen wird, bei dunkler Nacht ein ganzes Zimmer zu erleuchten scheinen kann. Andersherum ist das starke Scheinwerferlicht entgegenkommender Fahrzeuge bei Tageslicht kaum wahrnehmbar. Es wird also, die Hel- ligkeit eines einzelnen Bildpunkte's in Relation zu den ansonsten wahrgenommenen Bildpunkte empfunden. Auch lokal betrachtet, funktioniert die Retina 481 ähnlich. Übersteigt die Helligkeit eines auf einen Gebiet der Retina 481 proji zierten Bildpunkt die Helligkeit des ansonsten auf dieses Gebiet fallenden Lichtes um ca. 10%, so wird effektiv lediglich der proji zierte Bildpunkt anstelle des sonstigen Lichts von diesem Gebiet der Retina 481 wahrgenommen. Aufgrund psychologischer Effekte kann der genaue Wert statt bei 10% auch zwischen 5%-10%, 10%-15% oder gar 15%-20% liegen.Simplified, however, it can be said that the retina 481 adjusts itself to the brightness of the light falling on it as a whole. For example, it is known that the faint glow of a clock radio clock that is not perceived in daylight can appear to illuminate an entire room in the dark. Conversely, the strong headlights of oncoming vehicles are hardly noticeable in daylight. It is therefore, the bright- ness of an individual image points' s in relation to the otherwise perceived pixels. When viewed locally, the Retina 481 works similarly. If the brightness of an image point projected on an area of the retina 481 exceeds the brightness of the light otherwise falling on this area by approximately 10%, only the projected image point is effectively perceived by this area of the retina 481 instead of the other light. Due to psychological effects, the exact value can be between 5% -10%, 10% -15% or even 15% -20% instead of 10%.
Figur 5A zeigt eine interaktive Brille 520 gemäß einem bevorzugten Ausführungsbeispiel, bei der eine kombinierte Signalerfassungsund Projektionsvorrichtung 550 im Bereich des Nasenstegs 522 an die Brille 520 angebracht ist. Gemäß der Detail zeichung 5B umfaßt die kombinierte Signalerfassungs- und Projektionsvorrichtung 550 sowohl eine Projektionsvorrichtung 553 als auch eine Signal erfas- sungsvorrichtung, die zusammen in einem schützenden Gehäuse 558 untergebracht sind. Durch ein lichtdurchlässiges Fenster 559 in einer Außenwand des Gehäuses 558 gelingen Lichtstrahlen 530 in das Innere des Gehäuses 558 und umgekehrt. Das Abschließen des Gehäu- ses 558 durch das Fenster 559 verhindert jedoch, daß Staub, Schweiß und andere Fremdstoffe den Betrieb der kombinierte Signalerfassungs- und Projektionsvorrichtung 550 stört.FIG. 5A shows interactive glasses 520 according to a preferred exemplary embodiment, in which a combined signal detection and projection device 550 is attached to the glasses 520 in the region of the nose bridge 522. According to the detailed drawing 5B, the combined signal detection and projection device 550 comprises both a projection device 553 and a signal detection device, which are accommodated together in a protective housing 558. Light rays 530 enter the interior of the housing 558 and vice versa through a translucent window 559 in an outer wall of the housing 558. However, closing the housing 558 through the window 559 prevents dust, sweat and other foreign matter from interfering with the operation of the combined signal detection and projection device 550.
Analog den beschriebenen Systemen gemäß Fig. 3 und 4 werden Licht- strahlen 530, 530a, 530b erfaßt bzw. proji ziert. Die interaktive3 and 4, light rays 530, 530a, 530b are detected or projected. The interactive
Brille 520 läßt sich jedoch in ihrem Aufbau dadurch vereinfachen, daß die im Stand der Technik getrennten Spiegel 352 bzw. 452 zur vertikalen bzw. horizontalen Ablenkung des jeweiligen LichtstrahlsHowever, the structure of glasses 520 can be simplified in that the mirrors 352 and 452, which are separate in the prior art, for vertical and horizontal deflection of the respective light beam
331 bzw. 432 durch einen Taumel Spiegel 552 bzw. 554 ersetzt wird. Zwecks einer kompakten Bauweise kann ein teil durchlässiger Spiegel331 or 432 is replaced by a wobble mirror 552 or 554. For the purpose of a compact design, a partially transparent mirror can be used
556 dazu dienen, separate Strahlengänge innerhalb des Gehäuses 558 für das durch das Fenster 559 fallende bzw. projizierte Licht 530 zu ermöglichen. Bevorzugt wird die Innenseite des Brillenglases mit einer für aus dieser Richtung einfallenden Strahlen stark re- flektierenden Oberfläche 523 versehen, die als Spiegel für den Strahlengang zwischen dem Auge 580 und dem kombinierten Signalerfassungs- und Projektionsvorrichtung 550 verwendet. Dies trägt zu einer Reduzierung der notwendigen Komponenten bei und führt in der abgebildeten Ausführungsform zu einem vereinfachten, lichtstarken Strahlengang 530, bei dem der Lichtstrahl 530 zwischen Auge 580 und Projektions- bzw. Signal erfassungsvorrichtung 553 bzw. 551 lediglich dreimal reflektiert wird. Wie oben beschrieben, ergibt sich jedoch hieraus eine Einschränkung der Gestaltungsmöglichkeiten der Brille 520.556 serve to enable separate beam paths within the housing 558 for the light 530 falling or projected through the window 559. The inside of the spectacle lens is preferably provided with a surface 523 which is highly reflective for rays incident from this direction and which serves as a mirror for the Beam path between the eye 580 and the combined signal acquisition and projection device 550 used. This contributes to a reduction in the necessary components and, in the embodiment shown, leads to a simplified, bright beam path 530, in which the light beam 530 between the eye 580 and the projection or signal detection device 553 or 551 is reflected only three times. As described above, however, this results in a restriction of the design options for the glasses 520.
Die für eine Taumel bewegung des Spiegels 552, 554 notwendige Bewegungsfreiheit läßt sich beispielsweise durch eine kardanische oder federnde Aufhängung des Spiegels 552, 554 erreichen. Mögliche Ausführungsarten eines derartigen Taumel spiegeis sind dem Fachmann beispielsweise aus dem Gebiet der Mikrotechnik bekannt. Weitere Lösungen des vorliegenden Ablenkungsproblems, bei der der jeweilige Lichtstrahl 530 auf der Basis elektrochro er, holographischer, elektroholographi scher oder sonstiger Lichtbre- chungs- oder Lichtreflektionsmechanismen gelenkt wird, sind ohne weiteres denkbar und ebenfalls anwendbar.The freedom of movement necessary for a tumbling movement of the mirror 552, 554 can be achieved, for example, by a gimbal or spring suspension of the mirror 552, 554. Possible embodiments of such a wobble mirror are known to the person skilled in the art, for example from the field of microtechnology. Further solutions to the present deflection problem, in which the respective light beam 530 is guided on the basis of electrochro, holographic, electroholographic or other light refraction or light reflection mechanisms, are readily conceivable and can also be used.
Obwohl die interaktive Brille 520 in einer minimal istischen Ausführungsform gezeigt ist, bei der eine kombinierte Signalerfassungs- und Projektionsvorrichtung 550 lediglich für das linke Auge 580 vorgesehen ist, ist es selbstverständlich, daß eine Spiegel verkehrt gebaute, zweite kombinierte Signalerfassungs- und Projektionsvorrichtung 550 im Bereich der rechten Hälfte des Na- senstegs 522 für das nicht dargestellte rechte Auge bei Bedarf vorgesehen werden kann.Although the interactive glasses 520 is shown in a minimalist embodiment, in which a combined signal acquisition and projection device 550 is provided only for the left eye 580, it goes without saying that a mirror-built, second combined signal acquisition and projection device 550 in the area the right half of the nose bridge 522 can be provided for the right eye, not shown, if necessary.
Figur 6A zeigt in Form einer Abänderung der in den Figuren 5A und 5B dargestellten Brille 520 eine interaktive Brille 620 gemäß einem zweiten bevorzugten Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L in dem zwischen dem linken Brillenglas 624L und dem linken Bügel teil 621L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 650R in dem zwischen dem rechten Brillenglas 624R und dem linken Bügel teil 621R liegenden Bereich angeordnet sind.FIG. 6A shows, in the form of a modification of the glasses 520 shown in FIGS. 5A and 5B, interactive glasses 620 according to a second preferred exemplary embodiment, in which the left combined signal detection and projection devices 650L part between the left lens 624L and the left temple 621L lying area and the right combined signal detection and projection devices 650R are arranged in the area lying between the right spectacle lens 624R and the left temple part 621R.
Eine solche Anordnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L, 650R gegenüber den jeweiligen Brillengläsern 624L, 624R und den jeweiligen Augen 680 ist normalerweise mit der Notwendigkeit verbunden, entweder mehrere Spiegel entlang des Strahlengangs 630 vorzusehen (vgl. Spiegel 322 und 323 in Figur 3) oder dem jeweiligen Brillenglas 624L, 624R eine besondere Form zu verleihen, um eine Erfassung aller Bereiche der Netzhaut 681 zu gewährleisten. Dies schränkt jedoch die Gestaltungsmöglichkeiten der Brille 620 erhebl ch ein. Um dieses Problem zu umgehen, sieht die interaktive Brille 620 gemäß Figur 6 Brillengläser 624L, 624R vor, deren Innenseite mit einer jeweiligen holographischen Beschichtung 623L, 623R versehen sind. Solche holographischen Beschichtung 623 sind in der Lage, eine beliebige Reflektionstopolo- gie zu emulieren. Zum Beispiel kann eine holographisch beschich- tete, flache Oberfläche wie eine sphärisch gekrümmte Oberfläche wirken. Ebenso kann eine holographisch beschichtete, sphärisch gekrümmte Oberfläche wie eine flache Oberfläche wirken. Die Änderung der effektiven Reflektionstopologie hängt lediglich vom holographischen Inhalt der Beschichtung ab. Gemäß der Abbildung sind die holographischen Beschichtungen 623L und 623R spiegel symmetrisch zueinander ausgebildet und angeordnet.Such an arrangement of the combined signal detection and projection devices 650L, 650R in relation to the respective spectacle lenses 624L, 624R and the respective eyes 680 is normally associated with the need to provide either several mirrors along the beam path 630 (cf. mirrors 322 and 323 in FIG. 3) or to give the respective spectacle lens 624L, 624R a special shape in order to ensure detection of all areas of the retina 681. However, this considerably limits the design options for the glasses 620. In order to avoid this problem, the interactive glasses 620 according to FIG. 6 provide glasses 624L, 624R, the inside of which are provided with a respective holographic coating 623L, 623R. Such holographic coatings 623 are able to emulate any reflection topology. For example, a holographically coated, flat surface can look like a spherically curved surface. A holographically coated, spherically curved surface can also act like a flat surface. The change in the effective reflection topology depends only on the holographic content of the coating. According to the illustration, the holographic coatings 623L and 623R are formed and arranged in a mirror-symmetrical manner to one another.
Figur 6B enthält eine Detail Zeichnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L. Analog der in der Figur 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 658, eine Projektionsvorrichtung 653 und eine Signalerfassungsvorrichtung 651, jeweilige Taumelspiegel 652 und 654, einen teildurchlässigen Spiegel 656 und ein Gehäusefenster 659. Ähnlich den Figuren 6A und 6B zeigt Figur 7A in Form einer Abänderung der in den Figuren 5A und 5B dargestellten Brille 520 eine interaktive Brille 720 gemäß einem dritten bevorzugten Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 750L in dem zwischen dem linken Brillenglas 724L und dem linken Bügel teil 721L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 750R in dem zwischen dem rechten Brillenglas 724 und dem linken Bügel teil 721R liegenden Bereich angeordnet sind.Figure 6B contains a detailed drawing of the combined signal acquisition and projection devices 650L. Analogous to the combined signal detection and projection device 550 shown in FIG. 5B, it comprises a housing 658, a projection device 653 and a signal detection device 651, respective wobble mirrors 652 and 654, a partially transparent mirror 656 and a housing window 659. Similar to FIGS. 6A and 6B, FIG. 7A shows, in the form of a modification of the glasses 520 shown in FIGS. 5A and 5B, interactive glasses 720 according to a third preferred exemplary embodiment, in which the left combined signal detection and projection devices 750L in the between the left glasses lens 724L and the left temple part 721L and the right combined signal detection and projection devices 750R are arranged in the region lying between the right lens 724 and the left temple part 721R.
Figur 7B enthält eine Detail Zeichnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 750L. Analog der in der Figur 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 758, eine Pro- jektionsvorrichtung 753 und eine Signalerfassungsvorrichtung 751, jeweilige Taumelspiegel 752 und 754, einen teildurchlässigen Spiegel 756 und ein Gehäusefenster 759.Figure 7B contains a detailed drawing of the combined signal acquisition and projection devices 750L. Analogously to the combined signal detection and projection device 550 shown in FIG. 5B, it comprises a housing 758, a projection device 753 and a signal detection device 751, respective wobble mirrors 752 and 754, a partially transparent mirror 756 and a housing window 759.
Das oben angesprochene Problem des Strahlengangs 730 wird bei die- sem Ausführungsbeispiel durch besonders ausgestaltete Pads 725L und 725R platzsparend gelöst. Typischerweise werden Brillen 720 entweder durch den Nasensteg 722 oder durch sogenannte Pads 725 auf der Nasenwurzel gestützt. In ihrem handelsüblichen Gestalt sind Pads relativ flach, leicht gekrümmt und oval. Zudem sind sie entweder schwenkbar oder taumelnd an einem vom Nasensteg 722 ausgehenden Vorsprung gelagert, um ein angenehmes Anliegen der Pads an die Seitenflächen der Nasenwurzel zu gewährleisten. Im abgebildeten Ausführungsbeispiel sind die Pads 725 als formfeste, längliche Einheiten ausgebildet, die im Bereich des Nasenstegs 722 von der Brille 720 in Richtung Auge 780 herausragen. Auf ihrer jeweiligen, der Nase zugewandten länglichen Seite bilden die Pads 725 die sich auf die Nasenwurzel stützende Aufliegefläche. In ihrem der Brille 720 gegenüber liegenden Endbereich weisen die Pads 725 auf der jeweilig dem Auge zugewandten Seite eine Tragfläche auf, die mit einem Spiegel oder einer spiegelnden Beschichtung, bei- spielsweise einer Metall beschichtung oder einer holographischen Beschichtung, versehen ist.In this exemplary embodiment, the problem of the beam path 730 mentioned above is solved in a space-saving manner by specially designed pads 725L and 725R. Typically, glasses 720 are supported either on the nose bridge by the nose bridge 722 or by so-called pads 725. In their commercial form, pads are relatively flat, slightly curved and oval. In addition, they are either pivotally or tumbling on a projection extending from the nose bridge 722 in order to ensure that the pads lie comfortably against the side surfaces of the nose root. In the exemplary embodiment shown, the pads 725 are designed as dimensionally stable, elongated units which protrude from the glasses 720 in the direction of the eye 780 in the region of the nose bridge 722. On their respective elongated side facing the nose, the pads 725 form the support surface which rests on the root of the nose. In their end region opposite the glasses 720, the pads 725 have a wing on the side facing the eye, which is covered with a mirror or a reflective coating, for example a metal coating or a holographic coating.
Obwohl das Gestell der Brille 720, einschließlich die Pads 725, eine im Prinzip feste Form aufweist, treten sowohl quasi -statische, z.B. durch Materialermüdung und/oder Temperaturänderungen, als auch dynamische Verformungen des Gestells auf. Insbesondere beim Aufsetzen der Brille 720 und bei erschütterungsreichen Aktivitäten ergeben sich Veränderungen der relativen Anordnung der je- weil igen Brillenko ponenten zueinander. Auch ist die relative Anordnung der Brille 720 gegenüber dem Auge 780 keine Konstante. Demgemäß muß sowohl das optische System der Brille 720, d.h. diejenigen Systemkomponenten, die zur optischen Signalerfassung bzw. zur optischen Projektion beitragen, als auch ein eventuell daran angeschlossenes Verarbeitungssystem derart konzipiert und ausgelegt sein, daß solche Anordnungsveränderungen berücksichtigt und/oder kompensiert werden können bzw. keine außerordentlichen Betriebsstörungen verursachen. Dies gilt für alle Arten von interaktiven Brillensystemen.Although the frame of the glasses 720, including the pads 725, has a basically solid shape, both quasi-static, e.g. due to material fatigue and / or temperature changes, as well as dynamic deformations of the frame. In particular when putting on the glasses 720 and during vibratory activities, there are changes in the relative arrangement of the respective glasses components to one another. The relative arrangement of the glasses 720 with respect to the eye 780 is also not a constant. Accordingly, both the optical system of the glasses 720, i.e. those system components that contribute to optical signal detection or optical projection, as well as a processing system possibly connected to it, are designed and configured in such a way that such changes in arrangement can be taken into account and / or compensated for and / or do not cause any extraordinary malfunctions. This applies to all types of interactive glasses systems.
Erfindungsgemäß läßt sich das zuvor angesprochene Problem insbesondere durch eine geeignete Signal Verarbeitung der erfaßten und der zu erzeugenden Signale bewältigen. Es können auch fest am Brillengestell in der Nahe des üblichen Strahlengangs 730 ange- brachte optische Markierung von der Signal erfassungsvorrichtung 751 zwecks Eichung ihres optischen Systems regelmäßig oder bei Bedarf mit erfaßt werden.According to the invention, the problem mentioned above can be overcome in particular by suitable signal processing of the detected and of the signals to be generated. Optical markings can also be permanently attached to the spectacle frame in the vicinity of the usual beam path 730 by the signal detection device 751 for the purpose of calibrating their optical system regularly or as required.
Die in den zuvor beschriebenen Figuren gezeigten Anordnungen sind so aufgebaut, daß der Lichtstrahl des aufgenommenen Bildes den selben Weg nimmt wie der Strahl des projizierten Lichts. Dementsprechend können Aufnahme und Wiedergabe nicht gleichzeitig laufen. Es muß also zwischen Aufnahme und Wiedergabe umgeschaltet werden, wobei sich zwischenzeitlich jedoch der Strahlengang über das Scannersystem auf der Netzhaut weiter bewegt hat. Dementspre- chend kann der verbesserte Bildpunkt erst dann in das Auge proji - ziert werden, wenn der Scanner beim nächsten Durchlauf genau den Punkt auf der Netzhaut wieder erreicht hat. Im folgenden wird eine Modifikation der in den Figuren 3 bis 7 gezeigten Anordnungen beschrieben, mit der es gelingt, das Spektrum der optischen Information und damit das Anwendungsgebiet des Verfahrens und der Vorrichtung zur Bildverbesserung bzw. zur Einspiel ung von Information bei verbesserter Genauigkeit und verbesserter Signal Verarbeitung zu erweitern.The arrangements shown in the previously described figures are constructed so that the light beam of the captured image takes the same path as the beam of the projected light. Accordingly, recording and playback cannot run at the same time. It must therefore be switched between recording and playback, although in the meantime the beam path has moved further on the retina via the scanner system. Accord- Accordingly, the improved image point can only be projected into the eye when the scanner has reached the exact point on the retina again during the next pass. A modification of the arrangements shown in FIGS. 3 to 7 is described below, with which the spectrum of the optical information and thus the field of application of the method and the device for image improvement or for importing information with improved accuracy and improved signal can be achieved Expand processing.
Figur 8 zeigt das Grundprinzip, das darin besteht, daß der Projektionsvorgang bei laufendem Abtastvorgang eines Bildes erfolgt. Dies kann entweder unter Verwendung der zuvor beschriebenen Abtast- und Projektionsvorrichtungen dadurch geschehen, daß beim Durchlaufen eines Abtast- oder Projekti ons-Bewegungs usters entsprechend einem ausgewählten Modus zwischen Aufnahme und Projektion umgeschaltet wird, oder - wie in Figur 8 dargestellt - dadurch daß der Strahlengang eines aufgenommenen Lichtes und des proji zierten Lichtes nicht auf demselben Weg verläuft.FIG. 8 shows the basic principle which consists in the fact that the projection process takes place while an image is being scanned. This can either be done using the previously described scanning and projection devices by switching between scanning and projection according to a selected mode when going through a scanning or projection movement pattern, or - as shown in Figure 8 - by the beam path a recorded light and the projected light does not run in the same way.
Figur 8 zeigt in perspekti ischer Darstellung das Strahlenführungssystem relativ zum Auge 880. Die Scanspur auf der Retina - in Form einer Spirale dargestellt - ist mit 842 bezeichnet. Der mit 843 bezeichnete Abtaststrahl trifft auf das mit 844 bezeichnete Brillenglas, auf dem eine punktsymmetrische und ggfs. entsprechend gestreckte Abbildung der Scanspur 842 in Form der Strahlenspur 842' entsteht. Vom Brillenglas 844 wird der Abtaststrahl 843 zum Scannerspiel gel 845 reflektiert, der den Abtaststrahl in Richtung Sensorsystem reflektiert, das nicht näher dargestellt ist. Mit den gebogenen Doppelpfeilen in Figur 8 ist die Taumel bewegung des Scanner-Spiegel syste 845 angedeutet, mit der es gelingt, das Abtast-Bewegungsmuster zu realisieren.FIG. 8 shows a perspective representation of the radiation guide system relative to the eye 880. The scan track on the retina - shown in the form of a spiral - is designated 842. The scanning beam designated 843 strikes the spectacle lens designated 844, on which a point-symmetrical and possibly appropriately stretched image of the scan track 842 in the form of the beam track 842 'is created. The scanning beam 843 is reflected by the spectacle lens 844 to the scanner game gel 845, which reflects the scanning beam in the direction of the sensor system, which is not shown in more detail. The curved double arrows in FIG. 8 indicate the wobble movement of the scanner mirror system 845, with which it is possible to implement the scanning movement pattern.
Aus der ebenfalls nicht dargestellten Projektionsoptik trifft ein Projektionsstrahl 846 auf einen zugehörigen Scannerspiegel 847, der den Strahl im vorbestimmten Abstand auf die Innenseite des Brillenglases 844 reflektiert und von dort durch die Linse 882 des Auges auf die Scanspur 842 auf der Retina richtet. Dabei führt der Scannerspiegel 847 entsprechende Taumelbewegungen aus. Die opti- sehen Systeme sind so aufeinander abgestimmt, daß der Projektionsstrahl 846 diejenigen Bildpunkte auf der Retina, die zuvor vom Abtaststrahl 843 überstrichen worden sind, wieder trifft, allerdings mit zeitlicher Verzögerung. Selbstverständlich ist dafür Sorge getragen, daß die Scannerspiegel 845 und 847 ihre Taumel bewegung un- ter elektronischer Synchronisierung ausführen, so daß die entsprechenden Bildpunkte in der gewünschten zeitlichen Abfolge erfaßt werden.A projection beam 846 strikes an associated scanner mirror 847 from the projection optics, also not shown. which reflects the beam at a predetermined distance onto the inside of the spectacle lens 844 and from there directs it through the lens 882 of the eye onto the scan track 842 on the retina. The scanner mirror 847 executes corresponding wobble movements. The optical systems are matched to one another in such a way that the projection beam 846 hits those pixels on the retina that were previously swept by the scanning beam 843, but with a time delay. Of course, care is taken that the scanner mirrors 845 and 847 carry out their wobble movement under electronic synchronization, so that the corresponding pixels are recorded in the desired chronological order.
Aus der vorstehenden Beschreibung wird klar, daß unter Zuhilfe- nähme zweier entsprechend gesteuerter Spiegel Systeme dafür gesorgt werden kann, daß Bildaufnahme und Informations-Projektion gleichzeitig ablaufen können. Die oben beschriebenen Ausführungsformen der Abtast- und Projektionssysteme zeigen darüber hinaus, daß die entsprechenden optischen Systeme nach wie vor auf sehr engem Raum untergebracht werden können, so daß sie beispielsweise spielend in ausgewählten Bereichen eines Brillensystems Platz finden, ohne dadurch die Sichtverhältnisse einzuschränken. Mit der räumlichen und damit zeitlichen Trennung zwischen Aufnahme und Projektion ergeben sich weitaus verbesserte Bedingungen für die Bearbeitung der vor- zugsweise in Abhängigkeit von den erfassten Bildsignalen einzuspielenden Information, wie z.B für Bildverarbeitung. Es können unter Beibehaltung einer ausreichend hohen Bildwechselfrequenz zur Vermeidung von Flackern im Bildeindruck erfindungsgemäß wesentlich komplexere Signal verarbeitungsVorgänge vorgenommen werden, um die entsprechende Information nach Bearbeitung im zeitlich vorgegebenen Rahmen läge- bzw. punktgenau auf die Netzhaut zu projizieren.From the above description it is clear that, with the aid of two appropriately controlled mirrors, it can be ensured that image acquisition and information projection can take place simultaneously. The above-described embodiments of the scanning and projection systems also show that the corresponding optical systems can still be accommodated in a very small space, so that they can easily be accommodated in selected areas of an eyeglass system, for example, without thereby restricting the visibility. With the spatial and thus temporal separation between recording and projection, there are far better conditions for processing the information that is preferably to be input as a function of the captured image signals, such as for image processing. While maintaining a sufficiently high frame rate to avoid flickering in the image impression, significantly more complex signal processing operations can be carried out in accordance with the invention in order to project the corresponding information after processing in a timely predetermined manner onto the retina in a precise position or point.
Im folgenden werden einige ausgewählte Aufnahme- und Wiedergabezyklen, die sich mit dem erfindungsgemäßen Verfahren zur Überspie- lung von optischen Informationen auf die menschliche Netzhaut realisieren lassen, näher beschrieben.In the following, some selected recording and playback cycles, which can be performed using the method for dubbing Realization of optical information on the human retina, described in more detail.
Figur 9 zeigt einen Aufnahme- und Wiedergabezyklus entsprechend einer Halbbild-Technik. Figur 9A zeigt schematisch den Aufnahmezyklus des ersten Halbbildes, das innerhalb von beispielsweise 10ms durch Scannen der Kreise 1, 3, 5, ... n erhalten wird. In der anschließenden Zeit wird ein zweites Halbbild wiedergegeben (Figur 9B) , wobei die Wiedergabe bzw. die Projektion den jeweils benach- harten Kreis, d.h. den 2ten, 4ten, 6ten, ... n + lten Kreis erfaßt. Die für einen Vollscan zur Verfügung stehende Zeit von 20ms wird somit erfindungsgemäß aufgeteilt und bereits zur Projektion von Informationssignalen, wie z.B. von bildverbessernden Signalen genutzt.FIG. 9 shows a recording and playback cycle according to a field technique. FIG. 9A schematically shows the recording cycle of the first field, which is obtained within 10 ms, for example, by scanning circles 1, 3, 5, ... n. In the subsequent time, a second field is reproduced (FIG. 9B), the reproduction or the projection representing the adjacent circle, i.e. the 2nd, 4th, 6th, ... n + lth circle. The time of 20 ms available for a full scan is thus divided according to the invention and already for the projection of information signals, such as used by image-enhancing signals.
Die Figuren 10 und 11 zeigen eine Abwandlung des Aufnahme- und Wiedergabezyklus, wobei jeweils ein kreissequentieller Abtast- und Wiedergabemodus verwendet wird.FIGS. 10 and 11 show a modification of the recording and playback cycle, wherein a circular sequential scanning and playback mode is used in each case.
Wie aus den Figuren 10A und 10B erkennbar, werden abwechselnd Vollbilder erfaßt, wobei für das erste Vollbild am lten, 3ten, 5ten, ... n-ten Kreis eine Aufnahme erfolgt, während am 2ten, 4ten, 6ten, ... n + lten Kreis die Projektion durchgeführt wird. Abtast- und Wiedergabestrahl haben somit einen vorbestimmten Ab- stand zueinander. Bei der Betrachtung des zweiten Vollbildes gemäß Figur 10B liegen umgekehrte Verhältnisse vor, d.h. am 2ten, 4ten, 6ten, ... n + lten Kreis erfolgt die Aufnahme, während am lten, 3ten, 5ten, ... n-ten Kreis die Projektion erfolgt. Es erfolgt somit in jedem Moment der Vollbild-Betrachtung eine gleichzeitige Projektion bei laufendem Aufnahmevorgang.As can be seen from FIGS. 10A and 10B, full images are acquired alternately, with the first full image being recorded on the lth, 3rd, 5th, ... nth circle, while on the 2nd, 4th, 6th, ... n + lter circle the projection is carried out. The scanning and reproducing beams are therefore at a predetermined distance from one another. When the second full image according to FIG. 10B is viewed, the relationships are reversed, i.e. on the 2nd, 4th, 6th, ... n + lth circle the image is taken, while on the lth, 3rd, 5th, ... nth circle the projection takes place. There is thus a simultaneous projection at any moment of the full-screen viewing while the recording process is ongoing.
Entsprechendes gilt für die Ausführungsform gemäß Figur HA undThe same applies to the embodiment according to FIG HA and
HB. Auch hier liegt wieder ein kreissequentieller Modus vor, mit dem Unterschied zu Figur 10 jedoch, daß eine doppelt so hohe Auf- lösung gewählt wird. Es findet wieder die Vollbildtechnik Anwen- düng, wobei jedoch auf allen zur Verfügung stehenden Kreisen 1, 2, 3, ... n gleichzeitig eine Aufnahme und auf dem dazu leicht versetzten konzentrischen Kreisen eine Wiedergabe erfolgt. Der Abstand 11VA zwischen Aufnahmekreis und Wiedergabekreis ist durch die Dichte der Zäpfchen bzw. Stäbchen auf der Netzhaut des Auges bestimmt und liegt etwa im Bereich von mindestens 7 μm.HB. Here, too, there is a circular sequential mode, with the difference from FIG. 10, however, that a resolution twice as high is selected. The full-screen technology fertilizer, however, on all available circles 1, 2, 3, ... n at the same time a recording and on the slightly offset concentric circles is played back. The distance 11VA between the recording circle and the reproducing circle is determined by the density of the cones or rods on the retina of the eye and is approximately in the range of at least 7 μm.
In den Figuren 12 und 13 sind Aufnahme- und Wiedergabezyklen dargestellt, denen ein pixel sequentiell er Modus für die Aufnahme und die Wiedergabe Anwendung findet. Auf der rechten Seite der Figur 12A ist wiedergegeben, wie Aufnahme- und Wiedergabepixel für den ersten Scankreis verteilt sind. Figur 12B zeigt eine Detail ansieht für zwei benachbarte, vom Abtast- und Projektionsstrahl überstri- chene Kreise. Man erkennt auf den Darstellungen, daß sich hier Aufnahme- und Wiedergabepixel abwechseln, d.h., es liegt eine sequentielle Aufnahme- und Wiedergabe vor. Der Abstand 12 VA zwischen Aufnahme- und Wiedergabepixel sollte bevorzugter Weise wiederum nicht unter 7 μm liegen. Die Darstellung läßt erkennen, daß jeweils das lte, 3te, 5te, ..., n-te Pixel als Aufnahmepixel fun- giert, während die Pixel 2, 4, 6, ..., n+1 eines jeweiligen Scankreises die Wiedergabepixel darstellen. Aufnahme und Wiedergabe erfolgt durch pixel synchrones Umschalten. Bei Verwendung der Systeme mit kombinierter Scan- und Projektionsmimik kann die abwechselnde Bearbeitung der Bildpunkte auf einfachste Weise dadurch erfolgen, daß der/die Projektionslaser mit entsprechender Synchronisation getaktet ein- und ausgeschaltet wird/werden. Damit sind die Ausführungsformen nach den Figuren 5 bis 7 in vorteilhafter Weise einsetzbar.FIGS. 12 and 13 show recording and playback cycles to which a pixel sequential mode for recording and playback is used. The right side of FIG. 12A shows how recording and playback pixels are distributed for the first scan circle. FIG. 12B shows a detail view for two adjacent circles swept by the scanning and projection beam. It can be seen from the illustrations that the recording and playback pixels alternate, i.e. there is a sequential recording and playback. The distance 12 VA between the recording and playback pixels should again preferably not be less than 7 μm. The illustration shows that the lth, 3rd, 5th, ..., nth pixel functions as recording pixels, while pixels 2, 4, 6, ..., n + 1 of a respective scan circle represent the playback pixels , Recording and playback is done by pixel synchronous switching. When using the systems with combined scan and projection facial expressions, the alternate processing of the image points can be carried out in the simplest manner by switching the projection laser (s) on and off with the appropriate synchronization. The embodiments according to FIGS. 5 to 7 can thus be used advantageously.
Figur 13 zeigt einen abgewandelten pixel sequentiellen Modus, mit dem Unterschied zu Figur 12, daß Aufnahme- und Wiedergabepixel hier einen leichten optischen Versatz 13VA aufweisen. Dieser optische Versatz ist in Figur 13B beispielsweise mit 7 μm angegeben. Dies soll jedoch nicht beschränkend wirken. Es ist hervorzuheben, daß dieses Maß durch die physiologischen Randbedingungen des Auges bestimmt werden kann. Die Trennung zwischen Aufnahme und Wiedergabe kann gemäß dieser Variante durch leicht versetzte optische Wege des Aufnahme- und Wiedergabekanals erzielt werden, wobei jedoch im Sinne der Erfindung der Projektion'sstrahl dem Abtaststrahl nacheilt.FIG. 13 shows a modified pixel sequential mode, with the difference from FIG. 12 that recording and playback pixels have a slight optical offset 13VA here. This optical offset is given, for example, in FIG. 13B as 7 μm. However, this is not intended to be limiting. It should be emphasized that this measure is due to the physiological boundary conditions of the eye can be determined. According to this variant, the separation between recording and playback can be achieved by slightly offset optical paths of the recording and playback channel, but in the sense of the invention the projection beam lags the scanning beam.
Die Aufnahme- und Wiedergabe-Bewegungsmuster der optischen Strahlen sind in den Figuren 9 bis 13 als konzentrische Kreise angegeben. Figur fΩTzeigt eine Modifikation dahingehend auf, daß anstel- le eines Kreisscan ein Spiralscan zur Anwendung kommt. Die Besonderheit dieses Bewegungsmusters für den Abtast- und Projektionsstrahl liegt darin, daß ein Zweilensprung entfallen kann. Die zweite Besonderheit ist darin zu sehen, daß der "Zeilenabstand" variabel ist, was in besonderem Maße dem erfin- dungsgemäßen Anwendungsgebiet, d.h. dem Überspielen von optischen Informationen auf die menschliche Netzhaut angepaßt ist. Das scharfe Sehen des menschlichen Auges spielt sich im Bereich der Fovea Centralis und der dazu näheren Nachbarschaft statt. Dies erlaubt es, den Zeilenabstand außerhalb dieses Bereichs sehr groß zu wählen, ohne den Bildeindruck zu verschlechtern. Dadurch wird eine erhebliche Datenreduktion ermöglicht, was sich wiederum positiv auf die Möglichkeiten der SignalVerarbeitung und Bildverbesserung auswirkt.The recording and reproducing movement patterns of the optical beams are indicated as concentric circles in FIGS. 9 to 13. Figure fΩT shows a modification in that a spiral scan is used instead of a circular scan. The peculiarity of this movement pattern for the scanning and projection beam is that a double jump can be omitted. The second peculiarity can be seen in the fact that the "line spacing" is variable, which is particularly important for the field of application according to the invention, i.e. adapted to transfer optical information to the human retina. The keen vision of the human eye takes place in the area of the fovea centralis and the immediate vicinity. This allows the line spacing outside this range to be chosen to be very large without deteriorating the image impression. This enables considerable data reduction, which in turn has a positive effect on the possibilities of signal processing and image enhancement.
Figur 15 zeigt eine Modifikation der erfindungsgemäßen Ausfüh- rungsform dahingehend, daß bei Verwendung eine spiralförmigen Abtastmusters eine lineare Versetzung um das Maß 1504 stattfindet. Mit anderen Worten, ein Abtastscan 1502a ist zu einem Projektionsscan 1502b liniear versetzt, jedoch stets parallel zu diesem ge- halten. Der Abstand 1504 ist kleiner als der Abstand 1506 von zwei benachbarten Scanzeilen eines Scans. Mit dem Bezugszeichen 1502a' ist der zu einem beliebigen Zeitpunkt abgetastet Punkt (Bildpunkt) gekennzeichnet, während mit dem Bezugszeichen 1502b' der zugehörige Projektionspunkt dargestellt ist. Bei dieser Variante kann - ähnlich wie bei der Ausführungsform nach den Figuren HA und llß -FIG. 15 shows a modification of the embodiment according to the invention in such a way that a linear offset by the dimension 1504 takes place when using a spiral scanning pattern. In other words, a scan scan 1502a is linearly offset from a projection scan 1502b, but is always kept parallel to it. The distance 1504 is smaller than the distance 1506 from two adjacent scan lines of a scan. The reference point 1502a 'denotes the point (image point) scanned at any time, while the reference point 1502b' shows the associated projection point. In this variant - similar to the embodiment according to the figures HA and 11ß -
BERICHTIGTES BLATT (REGEL 91) ISA/EP die Zeitspanne zwischen Aufnahme eines Bildpunkts und entsprechender Korrektur auf ein Minimum verkürzt werden.CORRECTED SHEET (RULE 91) ISA / EP the time span between the acquisition of a pixel and the corresponding correction can be reduced to a minimum.
Figur 16 veranschaulicht in stark vergrößertem Maßstab die Ver- hältnisse, wenn eine Signal Verarbeitung nach den Figuren 12 und 13 Anwendung findet, hier verläuft das Bewegungsmuster für den Abtastpunkt 1602a' spurgleich zum Bewegungsmuster für den Projektionspunkt 1602b1. Der Abstand beider Punkte wird durch den Winkel 1604' charakterisiert. Dies hat zur Folge, das im inneren Bereich des Bewegungsmusters der absolute Abstand A beider Punkte kleiner ist als im äußeren Scanbereich, was wiederum insbesondere im Zusammenhang mit der Physiologie des menschlichen Auges sinnvoll ist, da im Bereich der Fovea Centralis und in dem diese umgebenden Bereich die entscheidende Bildinformation entsteht.FIG. 16 illustrates, on a greatly enlarged scale, the conditions when signal processing according to FIGS. 12 and 13 is used. Here, the movement pattern for the scanning point 1602a ′ is identical to the movement pattern for the projection point 1602b 1 . The distance between the two points is characterized by the angle 1604 '. As a result, the absolute distance A between the two points is smaller in the inner area of the movement pattern than in the outer scan area, which in turn is particularly useful in connection with the physiology of the human eye, since in the area of the fovea centralis and in the area surrounding it the crucial image information is created.
Das erfindungsgemäße Verfahren ist selbstverständlich für abgewandelte Systeme anwendbar, so z.B. für ein System, wie es in Figur 17 gezeigt ist. Diese Figur zeigt eine Abänderung der in den Figuren 5A und 5B dargestellten Brille 520, bei der ein sphärisches oder sphärisch wirkendes teildurchlässiges spiegelndes Zusatzelement 929 zwischen dem Brillenglas 924 und dem Auge 980 angeordnet ist. Bevorzugt ist das Zusatzelement 929 konfokal zum optischen System des Auges 980 angeordnet.The method according to the invention can of course be used for modified systems, e.g. for a system as shown in Figure 17. This figure shows a modification of the glasses 520 shown in FIGS. 5A and 5B, in which a spherical or spherically acting, partially transparent, reflective additional element 929 is arranged between the spectacle lens 924 and the eye 980. The additional element 929 is preferably arranged confocal to the optical system of the eye 980.
Der Reflektionsgrad eines solchen Zusatzelements 929 läßt sich an die Bedürfnisse des Informationssystems anpassen. Es kann zwischen einem hohen Reflektionsgrad, was eine sehr gute Erfassung auf das Auge 980 gerichteter Lichtstrahlen 933a-933c ermöglicht, und einem niedrigen Reflektionsgrad, was eine Beeinträchtigung der durch das Auge 980 erfolgenden Wahrnehmung vermeidet, gewählt werden. Bevorzugt weist das Zusatzelement 929 einen niedrigen (beispielsweise unter 10%), über seine gesamte Reflektionsflache homogen Reflektionsgrad auf. Dahin gegen weisen reflektierende Organe des Auges 980, zum Beispiel die Kornea 983 oder die Retina 981, zum Teil sehr starke örtliche Reflektionsabhängigkeiten. Ähnliche Aussagen betreffen die spektralen Reflektionsabhängigkeiten des Zusatzelements bzw. der reflektierenden Organe des Auges 980. Während das Zusatzelement 929 bevorzugt derart ausgebildet werden kann, daß es einen homogenen Reflektionsgrad über alle relevanten Spektral be- reiche aufweist, weisen die verschiedene Organe des Auges 980 sehr unterschiedliche Absorbtionsgrade auf, die in vielen Fällen auch starke örtliche Schwankungen unterworfen sind.The degree of reflection of such an additional element 929 can be adapted to the needs of the information system. You can choose between a high degree of reflection, which enables very good detection of light rays 933a-933c directed towards the eye 980, and a low degree of reflection, which avoids impairing the perception by the eye 980. The additional element 929 preferably has a low (for example less than 10%), homogeneous degree of reflection over its entire reflection surface. Towards pointing reflective organs of the eye 980, for example the cornea 983 or the retina 981, sometimes very strong local reflection dependencies. Similar statements relate to the spectral reflection dependencies of the additional element or the reflecting organs of the eye 980. While the additional element 929 can preferably be designed such that it has a homogeneous degree of reflection over all relevant spectral ranges, the different organs of the eye 980 have very different degrees of absorption which in many cases are also subject to strong local fluctuations.
Außer der Teilreflektion soll das Zusatzelement 929 möglichst keine Auswirkung auf das darauf fallende Licht ausüben. Aus diesem Grund wird das Zusatzelement 929 bevorzugt aus einem homogenen lichtdurchlässigen und ungefärbten Material und mit einer in Richtung der auf den Augenmittelpunkt gerichteten Lichtstrahlen konstanten Dicke gefertigt. Durch das Aufbringen einer Antireflexbeschichtung auf der dem Auge 980 zugewandten Seite des Zusatzelements 929 läßt sich eine verbesserte Lichtdurchlässigkeit erzielen.Apart from the partial reflection, the additional element 929 should have as little effect as possible on the light falling on it. For this reason, the additional element 929 is preferably made of a homogeneous translucent and uncolored material and with a constant thickness in the direction of the light rays directed towards the center of the eye. By applying an anti-reflective coating on the side of the additional element 929 facing the eye 980, improved light transmission can be achieved.
Die reflektierende Kontur eines solchen Zusatzelements 929 ist wohl definiert, und kann dem Informationssystem demgemäß als bekannte Information zur Verfügung gestellt werden, während die Kontur der relevanten reflektierenden Organe des Auges 980 erst ermittelt werden muß. Letzteres kann mit zum Teil nicht unerheblichem Aufwand verbunden sein. Die Erfassung auf das Auge 980 ge- richteter Lichtstrahlen 933a-933c über ein solches Zusatzelement 929 kann somit hochwertige Bilder des Blickfeldes liefern.The reflective contour of such an additional element 929 is well defined and can accordingly be made available to the information system as known information, while the contour of the relevant reflective organs of the eye 980 must first be determined. The latter can involve considerable effort in some cases. The detection of light rays 933a-933c directed at the eye 980 via such an additional element 929 can thus provide high-quality images of the field of view.
Im abgebildeten Ausführungsbeispiel werden effektiv nur diejenigen Strahlen, die senkrecht auf das Zusatzelement 929 fallen, erfaßt. Dies wird durch die folgenden Maßnahmen erreicht:In the exemplary embodiment shown, only those rays that fall perpendicularly on the additional element 929 are effectively detected. This is achieved through the following measures:
Aufgrund der teilsreflektierenden Oberfläche des ZusatzelementsDue to the partially reflecting surface of the additional element
929 wird ein entsprechender Teil derjenigen Strahlen 933a-933c, die senkrecht auf die Oberfläche des Zusatzelements 929 fallen, senkrecht zurückreflektiert, während andere Strahlen von der Ober- fläche des Zusatzelements 929 gemäß dem Reflektionsgesetz "Einfallswinkel gleich Reflektionswinkel " entsprechend schräg zurückreflektiert werden. Die senkrecht zur Oberfläche des Zusatzelements 929 zurückreflektierten Lichtstrahlen legen den gleichen Weg zurück, den sie gekommen sind, und treffen somit auf das dem Auge vorgelagerte Brillenglas 924. Die dem Auge 980 zugewandte Seite des Brillenglases 924 ist mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 923 versehen, und weist eine besonders gestaltete Form oder ei ne besonderes ausgebildete Beschichtung auf, die die senkrecht vom Zusatzelement reflektierten Lichtstrahlen derart bündelt, daß sie als beinah parallel verlaufende Lichtstrahlen 934 auf die Signal erfassungsvorrichtung 951 fallen, während nicht senkrecht vom Zusatzelement reflektierte Lichtstrahlen in eine andere Richtung gelenkt werden. Des weiteren wird eine Blende 957 kurz vor der Signal erfassungsvorrichtung 951 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfallswinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 934 liegt.929, a corresponding part of those rays 933a-933c that fall perpendicularly onto the surface of the additional element 929 are reflected back vertically, while other rays from the upper surface of the additional element 929 be reflected back obliquely in accordance with the reflection law "angle of incidence equals angle of reflection". The light rays reflected back perpendicular to the surface of the additional element 929 cover the same path as they came and thus strike the spectacle lens 924 in front of the eye. The side of the spectacle lens 924 facing the eye 9 is strong for rays incident from this direction reflecting surface 923, and has a specially designed shape or a specially designed coating, which bundles the light rays reflected perpendicularly from the additional element such that they fall as almost parallel light rays 934 onto the signal detection device 951, while not reflecting perpendicularly from the additional element Beams of light are directed in a different direction. Furthermore, an aperture 957 is provided shortly in front of the signal detection device 951, which prevents detection of those light rays whose angle of incidence lies outside a narrow angle of incidence of the light rays 934 which run almost parallel, as described above.
Soll das über das Zusatzelement 929 erfaßte Bild des Gesichtsfeldes die Grundlage für eine mit dem tatsächlich wahrgenommenen Gesichtsfeld korrelierte Projektionen, so muß die Korrelation zwischen dem erfaßten Licht und dem wahrgenommenen Gesichtsfeld er- mittelt werden. Gemäß dem dargestellten fünften Ausführungsbeispiel wird diese Korrelation durch eine bevorzugte konfokale Anordnung des Zusatzelements 929 zum optischen System des Auges 980 erreicht. Es wird deshalb bevorzugt, daß das Zusatzelement 929 über eine justierbare Aufhängung derart an der Brille befestigt ist, daß sich die Position des Zusatzelements 929 sowohl in vertikaler als auch in zwei horizontalen Richtungen nachjustieren läßt.If the image of the visual field acquired via the additional element 929 is to form the basis for a projection correlated with the actually perceived visual field, then the correlation between the detected light and the perceived visual field must be determined. According to the fifth exemplary embodiment shown, this correlation is achieved by a preferred confocal arrangement of the additional element 929 to the optical system of the eye 980. It is therefore preferred that the additional element 929 is attached to the glasses via an adjustable suspension such that the position of the additional element 929 can be readjusted both in vertical and in two horizontal directions.
Konfokal i tat ist im Grunde genommen dann gegeben, wenn das Zusatzelement 929, optisch gesehen, rotationssymmetrisch zur Sehachse und mit einem Abstand zur Linse 982 angeordnet ist, daß der opti- sehe Mittelpunkt des optischen Systems des Auges mit dem Mittelpunkt der durch das sphärische oder sphärisch wirkende Zusatzelement definierten Kugel übereinstimmt. Die Sehachse läßt sich zu diesem Zwecke ausreichend über die Ausrichtung der Pupille 984 be- stimmen, die durch ihre scharfe Konturen leicht erkennbar ist, und deren Ausrichtung aufgrund ihrer runden Form licht bestimmbar ist. Zudem ist aufgrund der sphärischen oder sphärisch wirkenden Form des Zusatzelements 929 keine Schwenkung des Zusatzelements 929 um die möglichen Schwenkachsen des Auges 980 notwendig, um Konfokal i- tat zu gewährleisten. Denn auch bei einer Verdrehung des Auges bleibt durch eine entsprechende vertikale und/oder horizontale Verschiebung des Zusatzelements 929 zumindest ein wesentlicher Teil des Zusatzelements 929, optisch gesehen, rotationssymmetrisch zur Sehachse. Was den Abstand zur Linse 982 betrifft, gibt es ver- schiedene Möglichkeiten, den notwendigen Abstand zu bestimmen. Zum Beispiel kann eine optische oder akustische Vermessung der Hornhaut 983 vorgenommen werden, deren Krümmung einen sehr guten Richtwert für die richtige Anordnung des Zusatzelements 929 angibt. Es können auch Netzhaut- oder Hornhautreflexbilder zumindest partiell erfaßt werden, und anhand eines Vergleichs der Reflexbilder mit dem über das Zusatzelement 929 erfaßten Licht der richtige Abstand bestimmt werden.Confocal i tat is basically given when the additional element 929, optically seen, is arranged rotationally symmetrically to the visual axis and at a distance from the lens 982 that the optically see center of the optical system of the eye coincides with the center of the sphere defined by the spherical or spherically acting additional element. For this purpose, the visual axis can be adequately determined via the orientation of the pupil 984, which can be easily recognized by its sharp contours, and the orientation of which can be determined easily due to its round shape. In addition, due to the spherical or spherical shape of the additional element 929, no pivoting of the additional element 929 about the possible pivot axes of the eye 980 is necessary in order to ensure confocal. This is because even when the eye is rotated, at least a substantial part of the additional element 929, optically speaking, remains rotationally symmetrical to the visual axis due to a corresponding vertical and / or horizontal displacement of the additional element 929. As far as the distance to the lens 982 is concerned, there are various ways of determining the necessary distance. For example, an optical or acoustic measurement of the cornea 983 can be carried out, the curvature of which gives a very good guide value for the correct arrangement of the additional element 929. Retinal or corneal reflex images can also be acquired at least partially, and the correct distance can be determined on the basis of a comparison of the reflex images with the light acquired via the additional element 929.
Aufgrund der sphärischen oder sphärisch wirkenden Realisierung, beispielsweise durch eine holographische Beschichtung, der teilsreflektierenden Oberfläche des Zusatzelements 929 sowie durch diese konfokale Anordnung des Zusatzelements zum Auge 980 sind lediglich diejenigen Strahlen 933a-933c, die senkrecht auf die Oberfläche des Zusatzelements 929 fallen, konfokal zum optischen Sy- stem des Auges 980 und stimmen somit mit den auf die Netzhaut fallenden Strahlen überein.Due to the spherical or spherical effect, for example by a holographic coating, the partially reflecting surface of the additional element 929 and by this confocal arrangement of the additional element to the eye 980, only those rays 933a-933c that fall perpendicular to the surface of the additional element 929 are confocal to the optical system of the eye 980 and thus coincide with the rays falling on the retina.
Aus der vorstehenden Beschreibung wird somit deutlich, daß erfindungsgemäß die für den Bildaufbau zur Verfügung stehende Zeit bes- ser genutzt wird, um erforderliche Signal Verarbeitung vorzunehmen und entsprechende Signale auf die Netzhaut zu projizieren. Die Projektion ins Auge erfolgt in jedem Falle nacheilend, d.h., daß über eine geeignete Geometrie der Lichtstrahl der Projektion dem Abtaststrahl folgt. Der zeitliche/räumliche Versatz zwischen Abta- sten und Projizieren kann bis auf einen Bildpunktabstand reduziert werden, wobei die entsprechende Zeitspanne für gewisse Bildpunktverbesserungen, wie z.B. Aufhellungen oder Korrekturen von Farb- sehschwäche, ausreicht. Die Bahn des Projektionsstrahls kann sich entweder auf der selben Zeile oder auf einer benachbarten Zeile in konstantem Winkel abstand zum Abtaststrahl befinden. Dabei muß die benachbarte Bahn nicht den gleichen Mittelpunkt wie die Bahn des Abtaststrahls haben. Denn der Projektionsstrahl stört nicht das Originalsignal. Es muß auch nicht zwischen Abtastung und Projektion hin- und hergeschaltet werden. Dementsprechend steht mehr Zeit für die Bearbeitung der Bildinformation zur^ Verfügung. Da auch geringere Anforderungen an die Deckungsgleichheit der Bewegungsmuster gestellt werden, kann das Scannersystem kostengünstiger gestaltet werden.It is thus clear from the above description that, according to the invention, the time available for the image construction is better used to carry out the required signal processing and project corresponding signals onto the retina. The projection into the eye is always lagging, ie the light beam of the projection follows the scanning beam via a suitable geometry. The temporal / spatial offset between scanning and projecting can be reduced to a pixel distance, the corresponding time period being sufficient for certain pixel improvements, such as brightening or correction of poor color vision. The path of the projection beam can either be on the same line or on an adjacent line at a constant angle from the scanning beam. The adjacent path does not have to have the same center as the path of the scanning beam. Because the projection beam does not disturb the original signal. There is also no need to switch back and forth between scanning and projection. Accordingly, there is more time available for processing the image information. Since there are also lower requirements for the congruence of the movement patterns, the scanner system can be designed more cost-effectively.
Für die Wahl der Bewegungsmuster des Abtast- und Projektionsstrahls stehend viele Möglichkeiten zur Verfügung. So kann beispielsweise ein Scan mit konstanter Geschwindigkeit verwendet werden, bei dem die Retina mit konstanter Lichtempfindlichkeit abgetastet wird. Dieser Scan ist geeignet, wenn im wesentlichen das gesehene Bild ausgewertet werden soll, um beispielsweise ein Assistenzsystem ansteuern zu können, oder um Zusatzeinblendungen dem Originalbild zu überlagern. Bei einem solchen Scan ist es vorteilhaft, den Winkel zwischen den Vektoren des Abtaststrahls und des Projektionstrahls konstant zu halten. Der Winkel sollte sehr klein sein, damit die Genauigkeit auch im Bereich des Mittelpunkts der Scanspirale beibehalten wird.There are many options available for the selection of the movement pattern of the scanning and projection beam. For example, a constant-speed scan can be used in which the retina is scanned with constant light sensitivity. This scan is suitable if essentially the image seen is to be evaluated, for example to be able to control an assistance system or to superimpose additional overlays on the original image. With such a scan, it is advantageous to keep the angle between the vectors of the scanning beam and the projection beam constant. The angle should be very small so that the accuracy is maintained in the area of the center of the scan spiral.
Für die Bildverbesserung noch besser geeignet ist ein physiologisch richtiger Spiralscan mit konstanter Winkelgeschwindigkeit. Hierbei wird die Verweildauer im Bereich der Fovea Centralis bezo- gen auf die Abtastlänge deutlich länger. Da in diesem Bereich der Fovea Centralis die Anzahl der lichtempfindlichen Rezeptoren wesentlich höher ist als im äußeren Bereich, können bei gegebener Abtastfrequenz entsprechend mehr Punkte abgetastet und proji ziert werden. Bei einem solchen Scan muß der Winkel zwischen den Vektoren von Abtaststrahl und Projektionsstrahl einstellbar sein.A physiologically correct spiral scan with constant angular velocity is even more suitable for image enhancement. The length of stay in the area of the fovea centralis is to the scanning length significantly longer. Since the number of light-sensitive receptors in this area of the fovea centralis is much higher than in the outer area, more points can be scanned and projected accordingly at a given scanning frequency. In such a scan, the angle between the vectors of the scanning beam and the projection beam must be adjustable.
Um den Scan den physiologischen Verhältnissen am besten anzupassen, ist es von Vorteil, die Scangeschwindigkeit so einzustellen, daß sie weitgehend der Dichte der Rezeptoren entspricht. Es werden also pro Zeiteinheit immer die gleich Anzahl von Rezeptoren abgetastet, bzw. eine entsprechend gleiche Anzahl von Projektionssignalen gesendet.In order to best adapt the scan to the physiological conditions, it is advantageous to set the scanning speed so that it largely corresponds to the density of the receptors. The same number of receptors are therefore always scanned per unit of time, or a correspondingly equal number of projection signals are sent.
Vorzugsweise wird eine Scanspirale verwendet, bei der die einzelnen Bahnen im unterschiedlichen Abstand zueinander verlaufen, wie dies am besten in Figur 14 gezeigt ist. Im Zentrum der Spirale ist der Abstand zwischen den Bahnen sehr klein und wird größer, je weiter sich die Bahn vom Mittelpunkt der Spirale entfernt. In grö- ßerem Abstand vom Mittelpunkt ist eine hohe Auflösung nicht mehr erforderlich, größenordnungsmäßig werden bei einem Radius von ca. 1 mm im Bereich der Fovea Centralis etwa 20 mal mehr Scanbahnen verlaufen als im darüber liegenden Bereich bis ca. 6mm- Radius.A scanning spiral is preferably used in which the individual webs run at different distances from one another, as is best shown in FIG. 14. In the center of the spiral, the distance between the orbits is very small and increases the further the path is from the center of the spiral. At a greater distance from the center point, a high resolution is no longer necessary, with a radius of approx. 1 mm in the area of the fovea centralis, about 20 times more scan paths will run than in the area above up to approx. 6 mm radius.
Die Erfindung schafft somit ein Verfahren und eine Vorrichtung zur Überspiel ung von optischen Informationen auf die menschliche Netzhaut unter Verwendung eines vorzugsweise seriell arbeitenden, ein auf die Netzhaut einfallendes Bild aufnehmenden Scansystems und eines Informationssystems. Damit das Spektrum der optischen Infor- mation, die aufspielbar sein soll, und damit das Anwendungsgebiet des Verfahrens und der Vorrichtung erweitert werden kann, wobei sich gleichzeitig eine verbesserte Genauigkeit und eine verbesserte Signal Verarbeitung ergeben soll, erfolgt der Projektionsvorgang bei laufendem Abtastvorgang. The invention thus provides a method and a device for transferring optical information onto the human retina using a preferably serial scanning system that records an image incident on the retina and an information system. So that the spectrum of the optical information that is to be able to be played back and the field of application of the method and the device can be expanded, which simultaneously results in improved accuracy and improved signal processing, the projection process takes place while the scanning process is running.

Claims

Ansprüche Expectations
1-.. Verfahren zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines vorzugsweise seriell arbeitenden, ein auf die Netzhaut einfallendes Bild aufnehmenden Scansystems und eines Informations-Projektionssystems- wobei der Abtast- und Projektionsstrahl ein vorbestimmtes Bewegungsmuster aufweist und wobei die Information vorzugsweise von den Signalen des Scanyste s abhängt, dadurch gekennzeichnet, daß der Projektionsvorgang bei laufendem Abtastvorgang erfolgt.1- .. Method of transferring optical information onto the human retina using a preferably serial scanning system that records an image incident on the retina and an information projection system - the scanning and projection beam having a predetermined movement pattern and the information preferably depends on the signals of the scan system, characterized in that the projection process takes place while the scan process is running.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß nach einem partiellen Abtasten des Bildes ein partieller Projektionsvorgang abläuft.2. The method according to claim 1, characterized in that a partial projection process takes place after a partial scanning of the image.
3. Vorichtung zur Durchführung des Verfahrens nach Anspruch 1 oder 2, mit einem vorzugsweise seriell arbeitenden Scansystems, mit de ein auf die Netzhaut einfallendes Bild aufnehmbar ist, und mit einem Informations-Projektionssystem, wobei der Abtast- und Projektionsstrahl mittels einer Steuereinrichtung entsprechend einem vorbestimmten Bewegungsmuster steuerbar ist, gekennzeichnet durch eine Einrichtung, die den Projektionsvorgang bei laufendem Abrastvorgang erlaubt.3. Device for performing the method according to claim 1 or 2, with a preferably serial scanning system with which an image incident on the retina can be recorded, and with an information projection system, the scanning and projection beam by means of a control device according to a predetermined Movement pattern is controllable, characterized by a device that allows the projection process while scanning is ongoing.
4. Vorrichtung nach Anspruch 3 zur Überspiel ung von optischer Information auf die menschliche Netzhaut unter Verwendung eines seriell arbeitenden Scan- und Projektionssystems mit vorbestimmtem Bewegungsmuster des Abtast- und Projektionsstrahls,, dadurch gekennzeichnet, daß der Strahl (846) des projizierten Lichts dem Strahl" (843) des aufgenommenen Lichts nacheilt.4. Apparatus according to claim 3 for dubbing of optical information on the human retina using a serial scanning and projection system with a predetermined movement pattern of the scanning and projection beam, characterized in that the beam (846) of the projected light is the beam " (843) lags behind the recorded light.
5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß der minimale zeitliche Versatz zwischen Aufnahme und Projektion eines Bildpunkts im wesentlichen der Verarbeitungszeit des zuvor aufgenommenen Bildsignals entspricht. 5. The device according to claim 4, characterized in that the minimum time offset between the recording and projection of a pixel essentially corresponds to the processing time of the previously recorded image signal.
6. Vorrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß das Scan- und das Projektionssystem einen gemeinsamen oder unterschiedlichen Strahlengang haben.6. The device according to claim 4 or 5, characterized in that the scanning and the projection system have a common or different beam path.
7. Vorrichtung nach Anspruch 3 zur Überspiel ung von optischer Information auf die menschliche Netzhaut unter Verwendung eines seriell arbeitenden Scan- und Projektionssystems mit vorbestimmtem Bewegungsmuster des Abtast- und Projektionsstrahls, dadurch gekennzeichnet, daß die Bewegungsmuster (1502a, 1502b) des Abtast- und des Projektionsstrahls zueinander versetzt sind.7. The device according to claim 3 for transferring optical information onto the human retina using a serial scanning and projection system with a predetermined movement pattern of the scanning and projection beam, characterized in that the movement pattern (1502a, 1502b) of the scanning and Projection beam are offset from each other.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander um einen vorbestimmten kleinen Winkel versetzt sind.8. The device according to claim 7, characterized in that the movement patterns of the scanning and the projection beam are offset from one another by a predetermined small angle.
9. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander um einen vorbestimmten kleinen Abstand (11VA) radial versetzt sind.9. The device according to claim 7, characterized in that the movement patterns of the scanning and the projection beam are radially offset from one another by a predetermined small distance (11VA).
10. Vorrichtung nach einem der Ansprüche 7 bis 9, dadurch, gekennzeichnet, daß das Scan- und das Abtastsystem getrennte Strahlengänge haben.10. Device according to one of claims 7 to 9, characterized in that the scanning and the scanning system have separate beam paths.
11. Vorrichtung nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, daß das Scansystem ein Bild der Netzhaut, vorzugsweise einen Netzhautreflex abtastet.11. The device according to one of claims 3 to 10, characterized in that the scanning system scans an image of the retina, preferably a retinal reflex.
12. Vorrichtung nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, daß das Scansystem das auf die Netzhaut einfallende Bild an einer der Netzhaut vorgeschalteten Stelle (929) des optischen Systems abtastet. 12. The device according to one of claims 3 to 10, characterized in that the scanning system scans the image incident on the retina at a point upstream of the retina (929) of the optical system.
13. Vorrichtung nach einem der Ansprüche 3 bis 12, dadurch gekennzeichnet, daß das Bewegungsmuster des Abtast- und Projektionsstrahls einer Spirale entspricht.13. Device according to one of claims 3 to 12, characterized in that the movement pattern of the scanning and projection beam corresponds to a spiral.
14. Vorrichtung nach einem der Ansprüche 3 bis 12, dadurch gekennzeichnet, daß das Bewegungsmuster des Abtast- und Projektionsstrahls einem Kreis- oder Ellipsenscan entspricht.14. Device according to one of claims 3 to 12, characterized in that the movement pattern of the scanning and projection beam corresponds to a circular or ellipse scan.
15. Vorrichtung nach Anspruch 13 oder 14, gekennzeichnet durch eine konstante Abtastgeschwindigkeit.15. The apparatus of claim 13 or 14, characterized by a constant scanning speed.
16. Vorrichtung nach Anspruch 13 oder 14, gekennzeichnet durch eine konstante Winkelgeschwindigkeit des Abtast- und Projektionsstrahls.16. The apparatus according to claim 13 or 14, characterized by a constant angular velocity of the scanning and projection beam.
17. Vorrichtung nach Anspruch 13 oder 14, gekennzeichnet durch eine an die Dichte der Rezeptoren im menschlichen Auge angepasste Geschwindigkeit, so dass die pro Zeiteinheit von den Projektionsstrahlen überstrichenen Rezeptoren im wesentlichen konstant ist. 17. The apparatus of claim 13 or 14, characterized by a speed adapted to the density of the receptors in the human eye, so that the receptors swept per unit of time by the projection beams is substantially constant.
PCT/EP2000/009842 2000-10-07 2000-10-07 Method and device for transferring optical information onto the human retina WO2002031579A1 (en)

Priority Applications (23)

Application Number Priority Date Filing Date Title
PCT/EP2000/009842 WO2002031579A1 (en) 2000-10-07 2000-10-07 Method and device for transferring optical information onto the human retina
AU2001210227A AU2001210227A1 (en) 2000-10-07 2000-10-07 Method and device for transferring optical information onto the human retina
US10/551,443 US8113657B2 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
PCT/EP2001/011633 WO2002033472A2 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
AU2002221662A AU2002221662A1 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
US10/551,445 US7641342B2 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
AT01986772T ATE367596T1 (en) 2000-10-07 2001-10-08 DEVICE FOR DETERMINING THE ORIENTATION OF AN EYE
DE50112749T DE50112749D1 (en) 2000-10-07 2001-10-08 DEVICE FOR DETERMINING THE ORIENTATION OF AN EYE
DE50112248T DE50112248D1 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
AT01987895T ATE357680T1 (en) 2000-10-07 2001-10-08 INFORMATION SYSTEM AND METHOD FOR PROVIDING INFORMATION USING A HOLOGRAPHIC ELEMENT
PCT/EP2001/011634 WO2002031581A1 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
AU2002215929A AU2002215929A1 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
EP01987895A EP1405123B1 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
EP01986772A EP1405122B1 (en) 2000-10-07 2001-10-08 Device for determining the orientation of an eye
EP07013946A EP1840627B1 (en) 2000-10-07 2001-10-08 Method and device for determining the orientation of an eye
ES07013946T ES2401132T3 (en) 2000-10-07 2001-10-08 Device and procedure for determining the orientation of an eye
US12/646,670 US8016421B2 (en) 2000-10-07 2009-12-23 Information system and method for providing information using a holographic element
US13/223,825 US8944602B2 (en) 2000-10-07 2011-09-01 Information system and method for providing information using a holographic element
US13/300,691 US8382285B2 (en) 2000-10-07 2011-11-21 Device and method for determining the orientation of an eye
US13/749,945 US20130135181A1 (en) 2000-10-07 2013-01-25 System and Method for Determining the Orientation of an Eye
US14/572,264 US9427154B2 (en) 2000-10-07 2014-12-16 Information system and method for providing information using a holographic element
US15/235,845 US10188288B2 (en) 2000-10-07 2016-08-12 Information system and method for providing information using a holographic element
US16/259,496 US20190150731A1 (en) 2000-10-07 2019-01-28 Information System and Method for Providing Information Using a Holographic Element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2000/009842 WO2002031579A1 (en) 2000-10-07 2000-10-07 Method and device for transferring optical information onto the human retina

Publications (1)

Publication Number Publication Date
WO2002031579A1 true WO2002031579A1 (en) 2002-04-18

Family

ID=8164121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2000/009842 WO2002031579A1 (en) 2000-10-07 2000-10-07 Method and device for transferring optical information onto the human retina

Country Status (2)

Country Link
AU (1) AU2001210227A1 (en)
WO (1) WO2002031579A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19631414A1 (en) * 1996-08-05 1998-02-19 Daimler Benz Ag Device for recording the retinal reflex image and superimposing additional images in the eye
US5727098A (en) * 1994-09-07 1998-03-10 Jacobson; Joseph M. Oscillating fiber optic display and imager
DE19728890A1 (en) * 1997-07-07 1999-02-04 Daimler Benz Ag Process to improve optical perception by modifying the retinal image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727098A (en) * 1994-09-07 1998-03-10 Jacobson; Joseph M. Oscillating fiber optic display and imager
DE19631414A1 (en) * 1996-08-05 1998-02-19 Daimler Benz Ag Device for recording the retinal reflex image and superimposing additional images in the eye
DE19728890A1 (en) * 1997-07-07 1999-02-04 Daimler Benz Ag Process to improve optical perception by modifying the retinal image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US8016421B2 (en) 2000-10-07 2011-09-13 Metaio Gmbh Information system and method for providing information using a holographic element
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US8382285B2 (en) 2000-10-07 2013-02-26 Metaio Gmbh Device and method for determining the orientation of an eye
US8944602B2 (en) 2000-10-07 2015-02-03 Metaio Gmbh Information system and method for providing information using a holographic element
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element

Also Published As

Publication number Publication date
AU2001210227A1 (en) 2002-04-22

Similar Documents

Publication Publication Date Title
EP1405122B1 (en) Device for determining the orientation of an eye
DE69906139T2 (en) DEVICE FOR TRACKING EYE MOVEMENT
EP1405123B1 (en) Information system and method for providing information using a holographic element
DE69830611T2 (en) METHOD FOR ILLUMINATING AND IMAGING EYES WITH GLASSES USING MULTIPLE LIGHTING SOURCES
DE2545662C2 (en) Display device that can be worn on the head or on the helmet
EP1190667A2 (en) Device for capturing the retinal reflex image
WO1998005992A2 (en) Device for the capturing of the retinal reflex image and the superimposition of additional images in the eye
DE19704602B4 (en) Interferometric arrangement for scanning an object
DE2359360A1 (en) METHOD AND DEVICE FOR TRACKING EYE MOVEMENTS
WO1988003396A1 (en) Device for producing images of an object, and in particular for observing the rear region of the eye
EP1389943B1 (en) Ophthalmoscope
DE3040009A1 (en) EYE EXAMINATION DEVICE
WO2016091743A1 (en) Display devices
DE69919249T2 (en) Artificial vision system
DE10153397A1 (en) Device and method for measuring refraction
EP1840627B1 (en) Method and device for determining the orientation of an eye
WO2008125665A1 (en) Eye measurement method and system
DE102020206452A1 (en) Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses
DE102018209886B4 (en) Device for projecting a laser beam to generate an image on the retina of an eye and glasses device with two such devices
EP3443883B1 (en) Method and devices for performing eye-related measurements
DE102008026576A1 (en) Optical system for ophthalmological devices, in particular fundus cameras
DE10326527A1 (en) Method and device for determining movement of a human eye
WO1999003013A1 (en) Method for improving optic perceptive faculty by modifying the retinal image
WO2002031579A1 (en) Method and device for transferring optical information onto the human retina
DE19809506A1 (en) Real image viewfinder for photographic or video camera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DE DK DM EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase
122 Ep: pct application non-entry in european phase
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642