WO2002097511A1 - Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges - Google Patents

Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges Download PDF

Info

Publication number
WO2002097511A1
WO2002097511A1 PCT/EP2001/005886 EP0105886W WO02097511A1 WO 2002097511 A1 WO2002097511 A1 WO 2002097511A1 EP 0105886 W EP0105886 W EP 0105886W WO 02097511 A1 WO02097511 A1 WO 02097511A1
Authority
WO
WIPO (PCT)
Prior art keywords
scanning
eye
pupil
center
coordinates
Prior art date
Application number
PCT/EP2001/005886
Other languages
English (en)
French (fr)
Inventor
Roland H. C. Eberl
Heinrich A. Eberl
Original Assignee
Physoptics Opto-Electronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Physoptics Opto-Electronic Gmbh filed Critical Physoptics Opto-Electronic Gmbh
Priority to PCT/EP2001/005886 priority Critical patent/WO2002097511A1/de
Priority to DE10196499T priority patent/DE10196499D2/de
Priority to ES07013946T priority patent/ES2401132T3/es
Priority to AU2002221662A priority patent/AU2002221662A1/en
Priority to US10/551,445 priority patent/US7641342B2/en
Priority to EP01986772A priority patent/EP1405122B1/de
Priority to AT01986772T priority patent/ATE367596T1/de
Priority to PCT/EP2001/011633 priority patent/WO2002033472A2/de
Priority to DE50112248T priority patent/DE50112248D1/de
Priority to EP01987895A priority patent/EP1405123B1/de
Priority to DE50112749T priority patent/DE50112749D1/de
Priority to PCT/EP2001/011634 priority patent/WO2002031581A1/de
Priority to AU2002215929A priority patent/AU2002215929A1/en
Priority to US10/551,443 priority patent/US8113657B2/en
Priority to EP07013946A priority patent/EP1840627B1/de
Priority to AT01987895T priority patent/ATE357680T1/de
Priority to PCT/EP2002/004030 priority patent/WO2002095480A1/de
Priority to EP02771631A priority patent/EP1395868A1/de
Publication of WO2002097511A1 publication Critical patent/WO2002097511A1/de
Priority to US12/646,670 priority patent/US8016421B2/en
Priority to US13/223,825 priority patent/US8944602B2/en
Priority to US13/300,691 priority patent/US8382285B2/en
Priority to US13/749,945 priority patent/US20130135181A1/en
Priority to US14/572,264 priority patent/US9427154B2/en
Priority to US15/235,845 priority patent/US10188288B2/en
Priority to US16/259,496 priority patent/US20190150731A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Definitions

  • the invention relates to a method for adapting an optical system, in particular a system for emitting signals depending on the wedge of image information incident on the human retina, to the direction of the eye, according to the preamble of claim 1, and an associated system, i.e. A method and a device for determining the change in the Rclalivlage between the optical system and the optical system of the eye, according to the preamble of claim 27.
  • the optical system has a scanning system for scanning the eye, in particular the retina, and the scan - And / or the Prlcklionssslrahlengang has a predetermined movement pattern, which is run through in predetermined cycles.
  • Optical systems of this type are known for example from DE 196 31 414 AI or WO98 / 05992 A2 and DE 197 28 890.
  • a system designed as an eyeglass system is used to scan an image of the outside world depicted on the retina of the eye by means of a scanning system using the "flying spot" method and, after the signal has been processed, a modified or supplemented laser image on the retina with electronic processing, with pinpoint accuracy, that is to project in a precise position and thus synchronously with the perceived image.
  • the scanning as well as the projection can simultaneously use the radiation of all primary colors RED, GREEN and BLUE.
  • optical beam path during scanning and / or during the projection cyclically runs through a predetermined movement muscle, for example in the form of a circle, ellipse or spiral scan, with a relatively high frequency of, for example, 100 Hz .
  • the high frequency is necessary so that - like when watching a film or a television picture - a "continuous" and above all a flicker-free image flow occurs for the eye if the picture frequency is above 48 Hz.
  • the movement muscular which can be different for scanning and projection, is controlled by a movement control system integrated in the spectacle system for corresponding slit deflection mirrors pivotably mounted about different axes.
  • optical systems described above are able to match or correlate the information incident on the human retina immediately and in temporal and spatial correspondence with the image taken by the eye, their field of application is greatly expanded, a special feature of optical system is that the entire maximum field of view can be related to information processing.
  • the problem then arises of providing the respectively desired function of the optical system with a consistently good quality over the entire viewing angle range of the human eye, with the dynamics of the eye, i.e. rapid eye movements, should be taken into account.
  • the object is achieved by a
  • the most accurate possible information about the changes in position of the optical system of the eye with respect to the optical system is available at any time, a particular advantage being that the movement pattern of the scan beam is used to obtain this information.
  • neither additional kinematics nor additional optics are required for the determination of the pupil mitlc and thus the line of sight, so that the expenditure on device technology can be kept to a minimum for exact and positionally accurate "eye tracking".
  • the method step used for "eye tracking" is carried out as required, but in time with the sampling cycles, i.e.
  • the cycle of the scanning or projection cycles is also decisive for the detection of the viewing direction, no additional clock generator is necessary, so that the expenditure on device technology for carrying out the method according to the invention is further reduced.
  • the optical center of the movement pattern is placed as required and in time with the scanning and / or projection cycles in the previously detected pupil or macular center, it is possible with little effort to control the optical system in such a way that even with rapid eye movements, there are no distortions or shifts in the system function which impair the information recorded on the retina or scanned by the necrosis.
  • the optical system thus follows every eye movement with the greatest possible accuracy, even if it occurs spontaneously and quickly over a large angle.
  • the prerequisite is created for the optical system to be readjusted with incrementally small control movements even during fast eye movements so that a system-appropriate, possibly confocal, scanning of the eye always takes place, what the function, such as the imaging quality of the optical system in all of its various applications.
  • Macular center required movement of the optical beam path compared to the total path length of the scanning beam path in a full scan can be relatively small, so that the inventive measure for frequent or continuous determination of the change in the relative position between the optical system and the optical system of the eye in essentially neither time nor quality of the optical image processing and / or processing is lost.
  • This effect is further enhanced by the fact that the amount of data required to determine the center of the pupil and / or macula can be kept very small compared to the amount of data representing the image information incident on the eye.
  • the scanning speed can be very high when determining the center of the pupil, so that additional time is saved for the actual image scan.
  • This scanning process can then be a scanning process of the nebral skin reflex or else scanning processes with which other image information incident on the human retina is scanned, such as for example the scanning process of the corneal reflex image or one connected between the spectacle lens and the eye telreflective additional element, which is described in detail in the earlier applications of the applicant, namely in PCT / EP00 / 09840, PCT / EP00 / 09841 and PCT / EPOO / 09843.
  • the data volume inside which must be stored when determining the pupil and / or macular center, can be further reduced.
  • the two-dimensional scan movement pattern is repeated, at least in sections, several times, in particular repeatedly until clear values for the coordinates of the pupil or macular center are available, less meaningful scan and / or projection movements of the optical system are excluded from the outset.
  • the functional reliability of the system as well as the working accuracy of the optical system are thereby further improved, while its susceptibility to faults is reduced at the same time.
  • claim 4 fulfills this security function with the least possible signal processing effort, which additionally saves time, which is thus available to the actual image scan.
  • the movement pattern of the scan beam path for determining the pupil or macular center is preceded by a start pattern which starts from a reference point on the optical system and is used to roughly determine the pupil center by evaluating the gray values detected during scanning in two coordinates the data volume required to determine the change in the relative position between the optical system and the eye can be further reduced, which at the same time ensures that more time and computing power remain for the actual cyclical image scanning and / or projection process.
  • This advantage is particularly useful if - according to claim 6 - the values determined during the rough determination of the pupil center are used in the determination of the movement pattern for the subsequent scanning movement for the exact determination of the pupil or macular center.
  • Advantageous variants for the movement pattern for the rough determination of the pupil center and for the fine determination of the macular center and / or structure are the subject of claims 7 and 8 or 9 and 10.
  • the scanning system preferably scans in the non-visible light range, preferably in the infrared range, whereby — with active alignment of the eye — there is no influence on the image impression for the person wearing the spectacle system, and — with passive scanning — scanning at dusk or in the dark and / or it is possible to scan heat-radiating structures of the eye.
  • any laser steering and / or mirror system that is described in the applications DE 196 31 414 AI or WO98 / 05992 A2 and DE 197 28 890 or PCT / EPOO / 09840, PCT / EPOO / 09841 and PCT / EP00 / 09843.
  • the motor system required to control the mirror systems can be retained unchanged.
  • a Sirahlengang guide arrangement can be realized from holographic, optoelectronic and / or oplo-acoustic elements.
  • the device can advantageously be used in an information projection system with which information is preferably transferred continuously and precisely to selected pixels of the retina. Another advantageous application of the device results in
  • FIG. 1 shows a schematic view of an information system in which an optical system is used to emit signals as a function of image information incident on the human retina;
  • Figure 2 is a detailed cross-sectional view of an eye
  • FIG. 3 shows a schematic view of an embodiment of the optical system in the form of an interactive spectacle system for explaining the kinematics for controlling the scanning or projection beam path;
  • FIG. 4 shows a schematic view of the human eye seen from the front through an interactive spectacle system, a preferred movement pattern of the scanning beam path for determining the pupil center and on the basis of diagrams which are shown by a scanning sensor approximately gray scale;
  • Figure 5 is a somewhat enlarged view of the eye in connection with
  • FIG. 5A shows a flow chart to illustrate the method steps in the rough determination of the pupil center according to a first variant
  • FIG. 6 shows a schematic view of the retina visible through the pupil, the gray values c detected by a scanning sensor being shown on the basis of two diagrams, which are recorded when scanning in the horizontal and vertical directions;
  • FIG. 6A shows a greatly enlarged illustration of the macula to explain a variant for guiding an exhaust beam path to determine the center of the macula;
  • FIG. 7 shows a flowchart to explain the guidance of the exhaust beam path to determine the center of the macula
  • FIGS. 8A and 8B are schematic views of the optical slave transmission in the event that the eye is in the normal position and in a rotated position, the optical system being readjusted
  • FIG. 9 is a schematic view similar to FIG. 6 of the retina visible through the pupil, with characteristic structures such as fovea centralis, macula, blind spot and larger blood vessels being emphasized;
  • FIG. 10 shows a schematic representation of a two-dimensional memory with n ⁇ m fields, in which the topography of the retina is stored;
  • FIG. 11 shows a view of the retina corresponding to FIG. 9 with a stored spiral movement pattern of the scanning beam path, the center of the scanning movement pattern not coinciding with the center of the fovea centralis;
  • FIG. 12 shows the image of the retinal structure recorded by scanning sensors when a scanning according to FIG. 11 has been carried out
  • FIG. 13 is a schematic view in which the image according to FIG. 12 is brought into alignment with the image according to FIG. 9 by rotation and displacement;
  • FIG. 14 shows a flowchart to illustrate a modified method for adjusting the system to the middle of the macular
  • FIG. 15 shows a flow chart to illustrate the chronological sequence of the method steps for the coarse and fine adjustment and for mapping the retina
  • FIG. 16 shows a block diagram to illustrate the integration of an "eye tracker" into an interactive glasses system
  • Figure 17 is a flowchart illustrating the steps in the
  • FIG. 17A shows a modification of the procedure in FIG. 17
  • FIG. 18 shows a schematic view of the interactive glasses corresponding to FIG. 3 to explain the projection process and the readjustment of the optical system
  • FIG. 19A shows interactive glasses in accordance with a further modification with an integrated signal detection and projection device
  • FIG. 19B shows a detailed view of the integrated signal detection and projection device shown in FIG. 19A;
  • FIG. 20A shows interactive glasses in accordance with a further modification with an integrated signal detection and projection device
  • FIG. 20B shows a detailed view of the integrated signal detection and projection device shown in FIG. 20A;
  • FIG. 21A shows interactive glasses corresponding to a further modification with an integrated signal detection and projection device
  • FIG. 21B shows a detailed view of the integrated signal acquisition and projection device shown in FIG. 21A;
  • FIG. 22 shows interactive glasses according to a further exemplary embodiment
  • FIG. 23 shows interactive glasses according to a further exemplary embodiment
  • 24A and 24B show a top view and a front view of a further embodiment of the interactive glasses in which the adjustment device of the optical system according to the invention can be used
  • FIG. 25 shows a schematic view of a further exemplary embodiment of an optical system which can be combined with the adjusting device according to the invention.
  • FIG. 1 schematically shows the structure of an optical system, in particular an information system 100, which is equipped with a device according to the invention for adapting the optical system to the viewing direction of the human eye.
  • the information system 100 is designed in the form of an interactive glasses system 120 or interactive glasses 120, which comprises two optical devices 150.
  • the optical devices 150 are preferably located on the inside of a left 121L or right 121 R temple part of the glasses 120.
  • other arrangements of the optical devices that do not obstruct the view e.g. in the area of a nose bridge 122 of the glasses 120 running over the nose root of a user.
  • the optical device 150 of the glasses 120 is connected to a processor unit 140 via connecting line 101. If photodetector gates and / or light sources are included in the optical devices, the connecting lines serve for the transmission of electrical detector or control signals. However, the photodetectors or light sources can be arranged in the processor unit 140 and via light-conducting connection lines 101 can be connected to the optical devices 150 of the glasses 120. This contributes to the weight reduction of the glasses 120.
  • FIG. 2 shows a detailed view of an eye 280 in cross section for the purpose of understanding the invention.
  • the eye 280 which is housed in an eye socket 20 (lat. Orbit) formed from skull bones in the head of a human being and is to be understood here in the sense of an eyeball 280, consists of a translucent cornea 283 (lat. Cornea) and a clearly white one Sclera 28 (lat. Sclera) surrounding chamber.
  • the sclera 28 is covered on its side facing the inside of the eye 280 by a choroid 287 (lat. Choroid) which bears a light-sensitive retina 281 (lat. Retina) on its inner side and supplies it with blood. Due to its pigmentation, the choroid 287 prevents the incident light from glowing, which could disturb the eyesight.
  • the tissue of the retina 281 comprises two types of photoreceptor cells, namely rods and cones (both not shown), which enable humans to see. These photoreceptor cells absorb the light bundled through an eye lens 282 in a wavelength range of approx. 380-760 nm and convert it into electrical nerve signals through a series of chemical reactions. The signals from the various nerve cells of the retina 281 are then passed on to the brain via an optic nerve 25 and processed there to form a perceptible image.
  • the numerous, approx. 120 million and highly light-sensitive rods are specialized in signal recording in dim light (so-called scotopic vision) and provide a grayscale image.
  • photopic vision When light is absorbed, pigments are oxidized in the photoreceptor cells. It takes about 6 minutes to regenerate the pigments and about 30 minutes for the rods.
  • a viewing period of approx. 200 msec is necessary until the visual stimulus via the pholoreceptors begins and information is recorded via the retina 281.
  • the retina 281 has a bevel 286 which, due to its higher density of cones than the rest of the retina, appears to be somewhat more pigmented.
  • Macula represents the area of the sharpest vision.
  • the fovea centralis 286 is only populated with cones , has a very high cone density and only occupies approximately 0.01% of the retinal surface.
  • the optic nerve 25 enters the interior of the eye through a sieve-like opening in the lumen 28. This location 288 has no photoreceptor cells, which is why it is referred to as a "blind spot".
  • the chamber formed by the cornea 283 and the dermis 28 is divided by a deformable lens 282 and a muscular radiation body 23 (also called ciliary body) which supports the lens 282.
  • the part of the chamber which is referred to as the anterior chamber 22 and lies between the cornea 283 and the lens 282, contains a liquid which nourishes the cornea 283.
  • the lens 282 typically refracts the light falling on the eye in such a way that the far field of view is sharply imaged on the retina 281.
  • the shape and thus also the refraction characteristics of the lens 282 can be changed over a wide range, for example to enable sharp imaging of nearby objects of the visual field on the retina 281. In most cases, this process takes place unconsciously for the person concerned.
  • a diaphragm 285 of variable diameter consisting of colored tissue, which regulates the incidence of light on the light-sensitive parts of the eye 280 and gives the eye 280 its characteristic color.
  • This aperture 285 is therefore called the iris 285 (lat. Iris). Due to the low light reflection of the lens 282, the vitreous body 21 and the retina 281, the central area of the iris 285 appears black and becomes the pupil 284 designated. The regulation of the pupil size is also unconscious for humans.
  • the eye 280 is connected to the skull via six muscles 24, some of which are parallel, some of which are oblique to one another, which enable the eye 280 to pivot and consequently change the direction of the gaze.
  • the binocular field of view which is detected without movement of the eyes 280, comprises approximately 170 ° horizontally and approximately 110 ° vertically. If the eyes 280 are moved, a binocular field of view of approximately 290 ° horizontally and approximately 190 ° vertically can be captured.
  • the area of sharp vision covered by the fovea centralis 286 covers only about 1 °.
  • a fictitious axis through the middle of this area is called the visual axis and corresponds to the viewing direction.
  • a rotation of the eye around the visual axis is also made possible by the muscles 24.
  • the six muscles 24 are responsible for all eye movements.
  • microlemors of the eye 280 take place, in which the eye 280 trembles slightly in order to avoid a temporary exhaustion of the chemical reactivity of the affected photorcceptors while the stimulus remains the same.
  • saccade movements take place during a viewing direction change or a copy movement, with the help of which the fovea centralis 286 is directed towards its new fixation target or is held at its previous fixation target.
  • the eye 280 is involuntarily moved back and forth with a small amplitude of up to several tens of degrees and an extremely fast angular velocity of up to several hundred degrees per second.
  • the eye reaches 280 angular speeds of just one to two hundred degrees per second.
  • a conjunctiva 26 lines the space between the eyelids 27a and 27b, the eye cavity 20 and the eyeball 280. The conjunctiva 26 merges into the inside of the lid on the one hand, and into the cornea 283 on the other hand, and represents a second compulsory school against the ingress of germs and foreign bodies.
  • FIG. 3 shows an embodiment of the interactive glasses system or glasses 320 as described above, in which a signal detection device in the form of a scanning eye scanner 350D is provided.
  • the left half of the image represents a top view of the head of a user 302 together with glasses 320 with a right temple part 321R, while the right half of the image shows a cross section of the glasses 320 running through the left temple part 321L.
  • the devices belonging to the interactive glasses 320 no further components of the information system 100 according to the invention are shown in FIG.
  • light rays 333a and 333b falling on the eye 380 which originate, for example, from the visual field, are sharply imaged by the lens 382 on the retina 381 as a coherent image and reflected back by it as a retinal reflex image.
  • a light beam 331 reflected back in this way passes the lens 382 again in the opposite direction, is focused via two concave mirrors 322 and 323 belonging to the mirror system of the glasses 320 and, as shown, directed onto a scanning eye scanner 350D.
  • the eye scanner 350D comprises a signal detection device 351 in the form of a photodetector 351, which detects the light beam 331 reflected back by the retina 381, and two movable flat mirrors 352H and 352V, which cause a horizontal or vertical deflection of the light beam 331 onto the photodetector 351.
  • the concave mirrors 322 and 323 together with the two movable flat mirrors 352H and 352V form the beam path guide arrangement of the scanning system, here the eye scanner 350D.
  • the glasses 320 additionally comprise a light trap 324 which prevents light from entering from undesired directions of incidence.
  • the mirror 323 can be realized by a mirrored inner surface of the glasses.
  • the surface must have a certain shape in order to capture the whole To enable a retinal reflex image even in the event of a possibly twisted position of the eye 380.
  • retina 381 is preferably scanned with a circular, spiral or elliptical scan pattern. This has the advantage that the flat mirrors 352 can be driven without backward movements and that a higher pixel density (number of pixels per unit area of the retina) in the area of the fovea centralis 286 can be detected.
  • FIG. 18 shows an embodiment of the interactive glasses 1820 as described above, in which an output device in the form of a scanning projection device 1850P is provided.
  • the left half of the image represents a top view of the head of a user 1802 together with glasses 1820 with the right temple part 1821R, while the right half of the image shows a cross section of the glasses 1820 running through the left temple part 1821L.
  • the devices belonging to the interactive glasses 1820 no further components of the information system 100 according to the invention are shown in FIG.
  • the scanning projection device 1850P comprises a light source 1853 emitting a projection light beam 1832, for example a laser diode or an LED focused via a lens system, and two movable flat mirrors 185H and 1854V.
  • the projection light beam 1832 is directed via the movable flat mirrors 1854H and 1854V onto a mirror system of the glasses 1820, which comprises two concave mirrors 1822 and 1823, which throw the projection light beam 1832 onto the lens 1882 of an eye 1880 and finally onto the retina 1881.
  • the mirror 1823 can be tangled by a mirrored inner surface of the glasses.
  • the surface must have a certain shape in order to allow projection onto all areas of the retina 1881 even if the eye 1880 is possibly rotated.
  • the glasses 1820 can be used to avoid disturbing light Equip with a light trap 1824 that prevents light from coming in from undesired directions of incidence.
  • the projection as described in DE 196 31 414 AI and DE 197 28 890, is preferably carried out using a circular, spiral or elliptical scan pattern. This has the advantage that the flat mirrors 1852 can be driven without backward movements and that a higher pixel density in the area of the fovea centralis 286 can be projected onto the retina 1881.
  • the optical system is designed or combined with a device which is able to detect any change in the relative position between the optical system and the optical system of the eye as close as possible to the line and - if necessary - adapt the optical system to the changed viewing direction, ie to perform a so-called "eye tracker" function.
  • a device which is able to detect any change in the relative position between the optical system and the optical system of the eye as close as possible to the line and - if necessary - adapt the optical system to the changed viewing direction, ie to perform a so-called "eye tracker" function.
  • the scanning and, if necessary, the projection of optical information is carried out in such a way that the optical siren path sweeps over a surface located in the optical path to the retina on a predetermined movement muscle with a relatively high frequency (for example 100 Hz).
  • a movement pattern is preceded as required and in time with the sampling and / or projection movement muscle, with which the position of the optical system of the eye and / or its state - closed or open eyelid, etc. - can be detected.
  • the following figures explain how the information required for this is obtained.
  • FIG. 4 shows the front view of a human eye 480 which lies behind an eyeglass frame 420A.
  • Reference number 485 denotes the iris and 428 the dermis.
  • a marking MS is attached to the spectacle frame 420A, for example, which serves as a reference and starting point for the rough determination of the relative position between the spectacle system and the two eyes, and thus for the rough determination of the relative position between the center of the pupil 484 and the spectacle system 420.
  • a thick solid line BM indicates a movement pattern which describes a scanning beam of the optical system (not shown) attached to the eyeglass system during a start-up phase, with suitable photodetectors continuously recording gray values, which in the indicated diagrams between the values W (for WHITE) and S (for BLACK).
  • color values from the visible or infrared range could also be detected or evaluated instead of or in addition to the gray values, as is familiar to the person skilled in the art in the field of image processing and / or pattern recognition.
  • the scanning system can work both passively and actively. If the scanning system works passively, the eye is not illuminated, ie only ambient light that is foreign to the system and is reflected back by the eye is detected by the scanning system. If the scanning system is active, the eye is additionally illuminated by the scanning system, ie the scanning system could detect both external light from the system, which is reflected back by the eye, and light signals generated by the scanning system and reflected by the eye.
  • the scan or projection system in particular the beam guide arrangement of the scan or projection system, carries out a scan or. Projection movement during the scanning and / or projection process, which changes the beam path of the scanning or projection beam over time.
  • the starting or end point of the beam path of the light reflected back from the eye and detected by the scanning system or of the light projected into the eye by the projection system thus describes a quasi-two-dimensional movement pattern, also called scan or projection pattern, in Eye.
  • the exemplary movement pattern shown is quasi two-dimensional, and the gray values recorded during the scanning process are preferably evaluated in two coordinates on the basis of signal profiles SPV and SPH, whereby essentially three linear movement pattern sections BMI, BM2 and BM3 are used, which are converted into a fluid one by arc sections Movement curve are connected.
  • the section BMI starts from the starting point MS and runs horizontally to the left in FIG. 4. As long as the point Pl, i.e. If the transition to the eye opening has not been reached, the grayscale value remains in a medium range.
  • the value jumps to the signal W and remains at this value until the beam path of the scanning movement reaches point P2, i.e. reached the transition to Iris 485. Since the iris is generally much darker than the white dermis, the signal level drops significantly at point P2 and, if the pupil is not covered, remains up to point P3, i.e. until the iris / dermis transition is reached at this level.
  • a suitably programmed signal evaluation device recognizes that the center of the iris lies exactly between points P2 and P3 and has the X coordinate XIM.
  • the movement pattern then pivots onto this coordinate, so that the movement pattern section BM2 is moved into the coordinate XIM.
  • the signal detected by the folodetectors is shown in the diagram on the right-hand side of FIG. 4.
  • the signal jumps to a characteristic, essentially constant value that corresponds to the signal level between points P2 and P3 so that the system recognizes the coordinates of the top of the iris.
  • the pupil 484 is thus reliably hit when passing through the movement pattern section BM2.
  • the scanning signal falls to a value which is almost at the boundary line S (for BLACK) and thus represents a characteristic value for the pupil.
  • the gray level signal remains at this value as long as the pupil 484 is swept by the scanning beam path, ie until the point P6 on the edge of the pupil is reached and then jumps up.
  • LS is the length of the secant that generates the movement pattern in the area of the pupil 484.
  • the reference symbol MSS denotes the center perpendicular to this secant.
  • This Miilelsenkrechle also determines the Y coordinate YPMG of the roughly determined pupil center. This coordinate is stored in the processor unit.
  • the third movement pattern section BM3 which is moved into the line MSS, is used for the exact determination of this coordinate.
  • the gray value signal recorded in this case corresponds essentially to the signal profile SPV, so that this is not shown separately in FIG. 4.
  • the line that divides the peak that occurs when the pupil is scanned and lies close to the line S determines the X coordinate XPM of the pupil, which is also stored. This concludes the rough determination of the pupil with respect to the glasses system.
  • the folodetector records a signal profile SPV which corresponds qualitatively to the signal profile SPH, so that the Y coordinate of the pupil is determined by that line, which divides the gray werele pulse in the middle when sweeping over the iris.
  • the third movement pattern section BM3 is moved into this line.
  • the arrangement is preferably such that the scanning over the three movement pattern sections BMI, BM2 and BM3 is only completed if the photodetectors in the individual movement sections actually
  • the movement pattern to be used for the determination of the pupil or macular center, as well as the scan pattern as a whole is preferably to be selected such that the associated movements of the components of the scanning system, for example the beam path guiding arrangement, do not include abrupt or jerky movements, and are therefore smoothly executable.
  • Such a choice of the movement pattern helps to reduce the loads on the scanning system, which enables an increase in the execution speed of the scanning movement.
  • the eye is shown in an enlarged representation in FIG. 5, the center of the pupil 584 being designated PM. Assuming a scan of the eye along that passing through the center PM of the pupil
  • the recognizable characteristic according to which there is a clear jump in the detected gray value at the transition between iris and pupil, ie at points P5, P6 or P7 and P8, can be used as follows to fine-tune the coordinates of the pupil central point PM:
  • the gray value signal remains at a level close to the line S (for BLACK) until the scanning beam path - as indicated on the circle Kn - leaves the pupil 584 at a point P9 and after a certain distance at a point P10 is immersed in the pupil again, which is detected by the signal jump.
  • the perpendicular bisector on the secant formed by points P9 and P10 determines the direction in which the center of the scanning movement has to be shifted in order to come closer to the true center of the pupil PM.
  • the circular scanning movement is continued, preferably at a radial distance from the corrected center, which corresponds to the radius of the last scanning circle Kn-1 or penultimate scanning circle Kn-2.
  • This correction process can be repeated several times. If the corrected center is shifted so that the Abiast Vietnamese the edge of the
  • the coordinates of the corrected center correspond to those of the pupil center.
  • a non-cutting of the pupil edge can be recognized, for example, by the fact that the grayscale values lie over a coherent, at least 360 ° movement section in a range customary for the iris.
  • color values could be acquired from the visible or infrared range and evaluated, as is known to a person skilled in the art in the field of image processing and / or pattern recognition.
  • FIG. 5A is a flow diagram that illustrates the method steps for determining the pupil center according to a modified sequence.
  • the characteristic signal curves SPV and SPH diameter and the location of the pupil in the horizontal are determined. This process is repeated until there are clear values for the points at which there is a contrast transition between the pupil and iris. This ensures that the occurrence of faults such as e.g. an eye closed by blinking is recognized. This data is saved.
  • the diameter and the location of the pupil in the vertical are determined analogously to the algorithm described above, again by detecting the contrast transitions between iris and pupil. If there are clear values, they are also saved.
  • FIG. 686 an enlarged view of a schematic view of the retina visible through the pupil is shown, 686 denoting the fovea centralis, which lies within the macula denoted 686A.
  • 687A denotes selected blood vessels lying in the choroid and 688 the so-called "blind spot”.
  • the location of the Fovea Centralis 686 In order to determine the visual axis and thus the viewing direction, it is necessary to know the location of the Fovea Centralis 686. The fact that. Can also be used to obtain this information different areas of the retina have a characteristic, different physical behavior, for example reflection behavior.
  • suitable photodetectors detect gray value signals SPV and SPH when scanning the retina along the axes V and H, which as a characteristic feature a clear signal jump at the transition to and from the fovea centralis 686.
  • this signal jump can be used for fine determination of the macular center MM by the position - between the points P9 and P10 or between Pll and P12 - and / or the width BV or BH of the characteristic Signal jump is evaluated and evaluated.
  • FIG. 6A A variant of the fine determination of the middle of the macula is explained with reference to FIG. 6A. It is assumed here that a scanning pattern for the beam path used for fine determination of the macular center MM starts from the point PM previously determined as the pupil center (see FIG. 5), concentric circles AK1, AK2,..., AKN serving as the scanning pattern. As long as the circles AK1 to AK4 are completely within the fovea centralis 686, the detected gray value signal does not change essentially, and the diameter of the scanning circles can be successively increased.
  • AK5 is the circle on which the scanning signal first detects the signal jump shown in FIG. 6, namely when point P13 is reached.
  • the scanning beam path again enters the area of the fovea centralis 686 at point P14, again detecting a signal jump.
  • a center curvature designated by MS on the secant SEK through points P13 and P14 determines the direction in which the center point of the scanning movement must be moved in order to come closer to the actual center point MM of the fovea centralis. Accordingly, the center point of the scanning movement is shifted from PM by the coordinates KY and KX to point P15 in the next step.
  • the scanning is continued, the radius of the circle chosen to continue the scanning movement and the gradual increase DR of the circle diameter preferably being determined empirically.
  • the new center P15 of the scanning circles is thus moved iteratively closer and closer to the true center MM.
  • the incremental value DR always chosen smaller. If the value DR reaches a preset minimum value, the fine determination of the macular center MM is terminated and the last saved value of point P15 is defined as the macular center.
  • Macular center point MM can also be undertaken if a large number of signal jumps as shown in FIG. 6 occur during the scanning movement in a continuous movement over at least 360 °. It would also be conceivable to abort the fine determination process of the center point MM if, starting from a predetermined small increment DR when the beam path moves in the area of the macular land 686B, the totalized gray values recorded with a full revolution (360 °) change as the radius is reduced and enlarged have no longer changed the increment DR beyond a predetermined threshold value.
  • FIG. 7 shows a flow diagram in which such a variant is generally described:
  • Macula can be used, a spiral scan with increasing radius is first carried out in step S1, starting from the pupil center point PM, which is provisionally assumed to be a possible macular center point. If in Step S2 allows a comparison of the scanning signal with the stored values to identify a first coordinate pair, a check is carried out in steps S3 and S4 as to whether this coordinate pair is meaningful. If not, a readjustment takes place in step S 10 in one direction, which is determined as the most promising based on the result of an evaluation determined by a suitable algorithm.
  • a spiral scan is carried out again in step S5, with which the coordinates of a further characteristic point of the macula are determined. This point should preferably lie on a different scanning radius and / or in a different area of the circumference of the macula. If in step S6 and S7 a comparison of the abiast signal with the stored values permits recognition of the second coordinate pair, a check is carried out in step S8 as to whether this coordinate pair is meaningful. If not, a re-adjustment takes place again in step S11 in a direction which is determined to be the most promising based on the result of an evaluation determined by a suitable algorithm. The new spiral scan can be carried out again in step S1, starting with the first pair of coordinates. Alternatively, the scan program runs to step S5, so that only the search for the second characteristic point takes place.
  • the coordinates of at least three characteristic points of the macula are preferably picked up and compared with stored values, the points lying in different regions of the edge structure of the macula.
  • step S12 in which the coordinates of at least one further characteristic area of the retina, for example the “blind spot”, are recorded in order to determine the eye movement which has meanwhile taken place.
  • the scanning process required for this is essentially comparable to the sequence according to FIG. 7, so that a detailed description of this method can be dispensed with.
  • scanning signals which are detected when scanning selected areas on predetermined trajectories (concentric circles with a predetermined line jump around the center of the macula) relative to the center of the macula, are stored in a memory, for example as a data or coordinate sequence. If the eye is twisted, this data sequence occurs in a different rotational position with respect to the center of the macula, so that this rotational position deviation enables the eye to be twisted and a corresponding adjustment of the optical system can be carried out.
  • the coordinates of the macular center MM and those of the at least one further characteristic area, e.g. of the "blind spot" can be compared with the stored values, a clear statement regarding the change in position of the eye, i.e. Displacement of the center of the macula and, if necessary, twisting of the retina.
  • the movement pattern of the beam path for the scanning and / or projection process is then relocated to the new determined macular center, the coordinate axes being adapted to the rotational position of the eye.
  • FIG. 8A schematically shows the scanning beam path for the exemplary case that with an interactive spectacle system, which is modified in comparison to the embodiment according to FIG. 3 or FIG. 18, that instead of a wobble mirror pair, a single scanning wobble mirror 854 and a single one (not shown) - Projection wobble mirror is used, a scan in the normal position of the eye, ie in the non-twisted position of the eye 880.
  • a single scanning wobble mirror 854 and a single one (not shown) - Projection wobble mirror is used, a scan in the normal position of the eye, ie in the non-twisted position of the eye 880.
  • the wobble mirror performs a spatial movement about an 854A pivoting center.
  • Radiation-reflecting surface is identified by reference numeral 823.
  • the arrangement is such that the spectacle lens 823A, the position of the wobble mirror 854, in particular its swivel center 854A and the scanning beam 851A remain in an unchanged position with respect to the center of the eyeball.
  • the positions RO and RU indicate the positions of the wobble mirror 854 in the limit or reversal positions, in which an upper edge ray BRO and a lower edge ray BRU of the field of view are imaged with the visual edge rays SRO and SRU in the scanning beam 851A.
  • the associated center beams are designated SC or BC. All visual rays in the field of view delimited by the marginal rays pass through the optical center of the lens 882.
  • the center ray SC hits the fovea centralis 886 exactly.
  • the spectacle lens 823A is preferably treated in such a way that the rays or object rays BRO, BC and BRU that the eye sees penetrate the lens as freely as possible within the field of vision.
  • the inner surface 823 is designed or coated, e.g. It mirrors that sirens, namely the SRO, SRU and SC rays from inside the eye and rays from the 851 optical system are reflected with the best possible efficiency. Since the scanning process and the projection process basically use the same beam path from the eye to the optical system and vice versa, for the sake of simplicity only the scanning process will be dealt with.
  • the wobble mirror can be tilted around the center 854A in any direction.
  • the angular range to the edge rays SRO and SRU is covered by a circular wobbling movement of the mirror 854.
  • Small circles of the scanning movement of the beam path on the retina 881 accordingly require a small deflection of the wobble mirror 854, while the largest deflection - in the positions RO and RU - is required for the edge beams SRO and SRU.
  • the upper edge beams SRO correlate with the object beam BRO, while the lower edge beams SRU correlate with the object beam BRU.
  • Centralis 886 runs. The field of view is again through BRU 1 and BRO '. It is irrelevant that the angles shown between center beam BC and edge beams BRU 'or BRO 1 are shown in different sizes. According to theoretical considerations, the point of the retina to be assigned to the Abtasl or projection beam deflected by the wobble mirrors is always the same with the same relative tilting of the wobble mirror relative to a center position (C or C) of the wobble mirror directed towards the fovea centralis.
  • the wobble mirror 854 is adjusted or tilted in its central position in accordance with the algorithm for the rough and fine adjustment of the "eye tracker" described above with reference to FIGS. 4 to 7 that the position of the fovea centralis 886 is struck by the center beam SC, the beam path of which is determined by the adjusted central position of the wobble mirror 854.
  • the central scanning beams SC are not congruent with the central object beam, i.e. the center beam BC, through the optical center of the lens 882, but through an area of the lens that leads precisely to the fovea centralis 886 taking into account the laws of refraction.
  • the circular or spiral scanning pattern related to the retina becomes an elliptical movement pattern.
  • this has no influence on the information acquisition because scanning and projection basically use the same movement pattern, so that, for example, a previously scanned image point on the retina is still hit by the associated projection point of the lagging projection beam.
  • the description of the adjustment of the optical system to the viewing direction of the eye was explained above using a scanning process. The same naturally also applies to a projection process.
  • an adjusting device for the spectacle lens 823A with which an adjustment is carried out in such a way that the center beam SC coincides with the central object beam BC.
  • Such an adjustment device could be implemented, for example, by an electro-mechanical, piezo-electric or other suspension of the spectacle lens driven in a known manner. It should be borne in mind that a rapid change in the suspension of the spectacle lens, which is heavy compared to a conventional spectacle frame, could set the frame in motion rather than the lens, which could be perceived by the user as disturbing. It is therefore preferred to readjust the position of the spectacle lens with a frequency that is very slow compared to the scanning frequency, for example only 1-5 readjustments per second, depending on the size of the readjustment.
  • Readjustment of the optical system is explained using a scanning process in which the macular center point and then the position of at least one further characteristic area of the retina were first determined.
  • a variant of the method is explained below with reference to FIGS. 9 to 13, with which it is possible to determine the change in position of the eye directly on the basis of a single scanning process of the retina.
  • the knowledge that the structure of the retina is related to the optical center, i.e. the location of the fovea centralis is so meaningful that a comparison of the scanned retina images before and after an eye movement provides clear information about the displacement and rotation of the eye.
  • the suitable or auxiliary means such as infrared scanning
  • the suitable or auxiliary means can be used to detect or Visible or becoming visible structure of the retina with a personal individual shaping and relative location assignment of the characteristic areas shown in Figure 6 has such a high information content that the data obtained from the retinal structure not only track the direction of view but at the same time a clear identification of the rear the person standing in the picture taken is possible.
  • This characteristic geometric arrangement can - as will be explained in the following - be used to determine the change in the relative position between the signal-processing optical system and the optical system of the eye and to derive appropriate control signals from this determination.
  • FIG. 9 shows, in a highly schematic manner, the image of the retina perceived by the pupil, as captured by an optical scanning device, for example operating in the infrared range, after suitable signal processing.
  • the fovea centralis 986, the macula 986A, the optic nerve head (blind spot) 988 and the large skin vessels 987A can be seen particularly clearly. It is assumed that this image was taken in a scanning process in which the crosshairs of the coordinate axes XA and YA are located in the center of the fovea centralis 986.
  • This image as a reference image for a later quick eye position determination can be stored in a memory device (not shown) of the processor unit 140 (FIG. 1), in the form of an analog or digital data record.
  • An advantageous storage method is shown in FIG. 10.
  • the image information is recorded here as an example in a two-dimensional memory with n columns and m rows, so that a memory with nxm memory locations is created, the position-related information of the image of the retina being stored at each location in this memory location.
  • This information can be the gray value recorded during the scanning along the rows and columns, it being advantageous to process the memory value c using a suitable filter, so that only those memory locations SP are filled with information that are characterized by a particular brightness and / or Mark the degree of darkness. In this way, the one shown in FIG.
  • the image of the retina is already mapped and stored with sufficient accuracy with a relatively limited number of rows and columns, one possibility of improving the stored information e.g. consists in reducing the absland of the rows n and / or columns m in the area of the macula and / or the blind spot.
  • FIG. 11 shows the image of the retina (cf. FIG. 9) during a scanning process for the frequently occurring case that around the last stored macular center point MMA with the current coordinate axes XAA and YAA of the optical system of the glasses is scanned while the eye is moving but has moved in the meantime.
  • 11 also corresponds to the typical case in which the center of the macula has only been roughly estimated on the basis of the pupil center.
  • the actual macular center is denoted by MMN and the alignment coordinate axes of the eyeball, ie the optical perception attributable to the eye, are denoted by XAN and YAN.
  • the movement pattern 1138 of the exhaust beam path is assumed to be a spiral, but it is equally possible to scan by means of concentric circular movements.
  • the sampling muscle 1139 can also be modified in different areas, such as in the area of the macula, with a view to greater resolution.
  • the device capturing the image of the retina takes a dot pattern on the basis of image data processing in accordance with the image recording according to FIG. 10, which is indicated in FIG. 11 by the points SPA.
  • the points SPA lie on the scanning spiral at those points at which the captured image of the retina has a signal value above or below a previously set threshold.
  • the points SPA are present as a continuous point sequence SPAS, the number of points being predetermined by the sampling frequency.
  • FIG. 12 shows in isolation the arrangement of the points SPA as they have been recorded by the scanning device and stored in a memory, the organization of the memory being arbitrary.
  • FIG. 10 shows in isolation the arrangement of the points SPA as they have been recorded by the scanning device and stored in a memory, the organization of the memory being arbitrary.
  • FIG. 10 shows in isolation the arrangement of the points SPA as they have been recorded by the scanning device and stored in a memory, the organization of the memory being arbitrary.
  • FIG. 10 shows in isolation the arrangement of the points SPA as they have been recorded by the scanning device and stored in a memory, the organization of the memory being arbitrary.
  • FIG. 10 shows in isolation the arrangement of the points SPA as they have been recorded by the scanning device and stored in a memory, the organization of the memory being arbitrary.
  • FIG. 10 shows in isolation the arrangement of the points SPA as they have been recorded by the scanning device and stored in a memory, the organization of the memory being arbitrary.
  • FIG. 10 shows in isolation the arrangement of the points SPA as
  • the current scan image of the retina according to FIG. 12 which is in the form of recording signals, can be brought into register with the last stored image of the retina, using as a reference either an analog image according to FIG. 9 or a digitized image in the form of the memory allocation according to FIG. 10 is used. Due to the fact that even when only a few characteristic areas of the retina, such as the macula, the "blind spot" and the largest retinal vessels, are present, there are a large number of SPA storage points that are in an anatomically-related unique positional configuration, this can bring back of the pictures with a comparatively little effort and thus take place within a very short time.
  • FIG. 13 shows the state after the image according to FIG. 9 or 10 has been brought into register with the memory image according to FIG.
  • the displacement vector VV is determined at the same time, by which the eye has shifted in the meantime or by which the middle of the macula has been incorrectly estimated has been and around which the center of the updated scanning movement must be relocated so that the optical system is adapted to the current viewing direction.
  • the twist angle WV by which the eye has twisted during the displacement is also fixed at this moment.
  • the coordinate system of the current scanning movement with the axes XAA and YAA must accordingly be rotated by the angle WV, so that the new coordinate axes XAN and YAN are obtained. In this way, the optical system follows the eye's gaze direction with the least delay, so that the "eye-tracker" function is fulfilled.
  • the coordinates of the new center of the macula and the associated coordinate axes become the current characteristic values.
  • step S14 if the center has been found, the optical system and thus the scanning movement to the center of the pupil are adjusted becomes. Then, in step S15, the search for the middle of the macula and
  • Step S16 the readjustment of the scanning movement and thus the optical
  • the "blind spot” is searched for in step S17, using stored values. If the "blind spot” is found, i.e. The location coordinates have been stored in step S18. This determination of the "blind spot” results in characteristic geometric data of the retina, which can be used for adjustment and recognition purposes.
  • step S19 the characteristic edge fracture, i.e. the characteristic structure of the retina and / or the retinal blood vessels at the edge of the area captured by the scanning system, for example shown in a circle in FIG. 13, was sought.
  • a comparison is made with stored data or values. Together with the location of the macula and the "blind spot", there are sufficient geometric data of the eye that can be used for single and / or recognition purposes.
  • the location of the characteristic edge structure also determines the largest radius of the scanning movement pattern. If the edge structure has been recognized and found, the corresponding location coordinates are stored in step S20.
  • the beam path returns to the middle of the macula in step S21, so that the scanning of the image information incident on the human eye can begin in step S22.
  • the eye movements can be recorded frequently or continuously in such a way that the changes in the position of the coordinates of characteristic retinal areas are recorded as part of a scanning and / or projection process.
  • a data salt for example a retinal "Mapping" can be done in pre-determined cycles or as required. For example, an update of the data salt after a large eye movement can make sense, since the image of the retina visible through the pupil experiences a distortion due to the three-dimensional curvature of the retina. Thanks to the measures described above, even the smallest eye movements can be detected quickly and reliably.
  • the "eye tracking" function of the system starts with a step S30, in which a rough adjustment is carried out according to the processes that have been described with reference to FIGS. 4 or 5.
  • This step also includes the initialization of the optical system, i.e. the optical system only continues to work when it has been determined that the rough adjustment has been successfully completed, that is to say the eye is open.
  • step S 31 a fine adjustment is preferably made to the macular center, as has been described with reference to FIGS. 6, 6A and 7.
  • step S32 in which the so-called "retina mapping" is carried out, with the aim of an analog or digital image of the retina structure that is as accurate as possible to be obtained and stored, for example in accordance with FIG. 10, in a two-dimensional memory.
  • step S30 1 is integrated into the repetition loop of the fine adjustment, in which the number of repetition loops is summed up. As long as the total number of repetition loops is less than n *, step S31 'of fine adjustment is carried out.
  • the stored data for displaying the retinal structure image are no longer good enough to be able to carry out a clear, preferably confocal, adjustment of the scanning beam path. This could be the case, for example, if the eye has twisted and / or shifted so quickly within a very short time that, taking into account the then occurring distortion of the retinal image caused by the third dimension of the eye movement, a clear recognition of the characteristic retinal and / or macular structure can no longer take place. In this case, the program jumps back to step S32 and "retina mapping" is carried out again.
  • step S35 in which it is checked whether the deviation of the last stored macular center MMA from the new macular center MMN indicated in FIG. 13 with the vector VV and the displacement angle WV is less than an allowable value to be determined empirically. If this query yields YES, the optical system is readjusted in step S36, ie the center of the scanning movement pattern is relocated to the new macular center MMN. If the query is NO, a new "retina mapping" is carried out in step S32.
  • step S37 the actual movement and / or projection movement muscle is run through, with which the image information incident on the eye is processed.
  • This step can - as described in the previous applications of the inventors - take place on the basis of concentric circles or ellipses, or on the basis of circular or elliptical spirals.
  • a process step S38 is indicated by a dash-dotted line, in which, for example, the retina structure is continuously scanned by means of a moving scanning beam path that works, for example, in the infrared range.
  • the information obtained in this way can be used to either supplement the stored data of the retinal structure or - in the event of deviations, for example in the case of spatial image distortion - to overstore it.
  • FIG. 16 schematically shows a possible structure of the optical system with the individual function groups and in detail how an "eye-tracker" circuit labeled ET would be integrated into the system.
  • the system shown has two main groups. On the left side, the optical interface 1620 is indicated, to which the scanning and projection device 1650 and the spectacle lens 1623A belong.
  • the reference number 1640 denotes the control unit electronics which communicate with the spectacle electronics.
  • the electronics for the glasses comprise both a horizontal and a vertical driver TH or TV for controlling the respective one Deflecting mirror, which is labeled ASH or ASV, as well as an infrared sensor IRS with an associated amplifier, labeled VIR.
  • the "eye-tracker" circuit of the sleuer device electronics controls the drivers by means of the A / D converter and receives signals from the amplifier VIR by means of an A / D converter.
  • a timing generator designated TG is also shown, which is in mutual data and signal exchange with the "eye-tracker” circuit ET.
  • a likewise alternating signal flow takes place between the "eye tracker” circuit ET and the digital signal processor DSP, in which, for example, the image storage and processing is carried out.
  • a predetermined movement pattern of a scanning beam path for determining the pupil and / or macular center is used, which in the
  • Movement pattern of the scanning or projection beam path is integrated in such a way that it is as similar as possible to the movement pattern of the scanning or projection beam path and is timed in such a way that the cycle of the cycles of the scanning or projection beam path can be maintained.
  • This means that the movement pattern of the scanning or projection beam path is given a kind of "preamble” in which the function of "eye tracking” is carried out, as required and in time.
  • step S50, S51 and S52 - only a few scan circle movements ni are required - as indicated with steps S50, S51 and S52 - in order to determine the macular center around the position of the eye with respect to the optical system and this in step Readjust S53.
  • Stored data of the retinal structure is preferably used; the middle of the macular is estimated for the time being.
  • This estimated macular center can be, for example, the macular center determined during the last scanning process, a macular center statically estimated using several of the last scanning processes or a statistically determined information relating to the spatial assignment of the pupil center to the macular center with reference to current or previous, coarse or fine certain pupil center can be spatially estimated point.
  • the previously determined macular center is usually sufficient as a starting position, ie as a so-called " Estimated Macular Center "of the current retinal scan to reliably determine the current position of the central macular.
  • step S54 the scanning movement is carried out starting from the center of the macula, preferably using a spiral scan with an interlaced line ⁇ faz, so that a high resolution is achieved.
  • the dimension r M means the radius of the maximum macular diameter.
  • the value n? is determined empirically and can be varied depending on the task of the optical system.
  • step S55 If, after performing n 2 circular movements, the edge of the macula has been reached in step S55, the movement pattern is changed in step S56, for example by determining a positive progressive mean line jump PPMZ as follows.
  • ⁇ M ⁇ X den and n 3 is calculated as follows:
  • step S57 If it has been determined in step S57 that the edge of the retina has been reached, the movement pattern of the scanning or projection beam path is carried out from outside to inside in step S58, preferably again with a progressive line spacing.
  • interlacing PNMZ is set again as follows:
  • step S60 in order to achieve a higher resolution, step S60 can be switched to a negative interlacing NZ, which is determined as follows:
  • NZ r M / (1024 - n3)
  • step S61 the center of the macula is reached, so that the program returns to step S50.
  • FIG. 17A shows a modification of this procedure, in which, for example, the pupil center is again determined roughly and / or finely, if necessary or after a certain number of steps, before the scanning process starting from the estimated center of the macula is started.
  • a "reorientation" of the scanning system may be necessary, for example, if the eye has been closed for a long time and the eye, and thus the macula, has clearly moved away from its previous position during this time.
  • a new determination of the pupil center can also serve to provide statistical information regarding the relative position of the pupil center to the center of the pupil to win.
  • it is advantageous to carry out such information acquisition in order to be able to optimize the scanning process, as described, on the basis of the information obtained.
  • FIG. 19A shows a further embodiment of interactive glasses 1920, in which the "eye-tracker" function described above can be used.
  • a combined signal acquisition and projection device 1950 is attached to the glasses 1920 in the area of the nose bridge 1922.
  • the combined signal acquisition and projection device 1950 includes both a projection device 1953 and one
  • Signal acquisition devices housed together in a 1958 protective housing Through a translucent window 1959 in an outer wall of the housing 1958, light rays in 1930 reach the interior of the housing 1958 and vice versa. However, closing the housing 1958 through the window 1959 prevents dust, sweat and other contaminants from interfering with the operation of the combined signal acquisition and projection device 1950.
  • the construction of the interactive glasses 1920 is simplified, however, in that the separate mirrors 352 and 1852 for vertical and horizontal deflection of the respective light beam 331 and 1832 are replaced by a swash mirror 1952 and 1954. These wobble mirrors are readjusted to fulfill the "eye tracking" function in accordance with the description of FIG. 8 by means of the arrangement shown in FIG.
  • a partially transparent mirror 1956 can serve to enable separate beam paths within the housing 1958 for the light 1930 falling or projecting through the window 1959.
  • the inside of the spectacle lens is preferably provided with a surface 1923 which is highly reflective for rays incident from this direction and which is used as a mirror for the beam path between the eye 1980 and the combined signal detection and projection device 1950. This contributes to a reduction in the necessary components and leads to the embodiment shown a simplified, bright beam path 1930, in which the light beam 1930 between the eye 1980 and the projection or signal detection device 1953 or 1951 is reflected only three times.
  • Embodiment is shown, in which a combined signal detection and projection device 1950 is provided only for the left eye 1980, it goes without saying that a mirror-inverted, second combined signal detection and projection device 1950 in the area of the right half of the nose bridge 1922 for the not shown right eye can be provided if necessary.
  • FIG. 20A shows, in the form of a modification of the glasses 1920 shown in FIGS. 19A and 19B, interactive glasses 2020 according to a further exemplary embodiment, in which the left combined signal detection and projection devices 2050L in the area lying between the left lens 2024L and the left temple part 2021L and the right combined signal detection and projection devices 2050R are arranged in the area between the right spectacle lens 2024R and the left temple part 2021R.
  • the interactive glasses 2020 according to FIG. 20 provide spectacle lenses 2024L, 2024R, the inside of which are provided with a respective holographic coating 2023L, 2023R.
  • Such holographic coatings 2023 are able to emulate any reflection topology.
  • a holographically coated, flat surface can act like a spherically curved surface.
  • a holographically coated, spherically curved surface can also act like a flat surface.
  • the change in the effective reflection topology depends only on the holographic content of the coating.
  • the holographic coatings 2023L and 2023R are formed and arranged mirror-symmetrically to one another.
  • Figure 20B contains a detailed drawing of the combined signal acquisition and projection devices 2050L. Analogously to the combined signal detection and projection device 550 shown in FIG. 5B, it comprises a housing 2058, a projection device 2053 and a signal detection device 2051, respective wobble mirrors 2052 and 2054, a partially transparent mirror 2056 and a housing window 2059.
  • Figure 21A shows in the form of a
  • Modification of the glasses 1920 shown in FIGS. 19A and 19B are interactive glasses 2120 according to a further exemplary embodiment, in which the left combined signal detection and projection devices 2150L in the area lying between the left lens 2124L and the left temple part 2121L and the right combined signal detection and projection devices 2150R are arranged in the area lying between the right spectacle lens 2124R and the left temple part 2121R.
  • Figure 21B contains a detailed drawing of the combined signal acquisition and projection devices 2150L. Analogous to the combined signal detection and projection device 1950 shown in FIG. 19B, it comprises a housing 2158, a projection device 2153 and a signal detection device 2151, respective wobble mirrors 2152 and 2154, a partially transparent mirror 2156 and a housing window 2159.
  • the "cye-tracking" function is again fulfilled by the wobble levels 2152 and 2154 being re-adjusted to the respective recorded center of the macula.
  • the above-mentioned problem of the beam path 2130 is solved in a space-saving manner by specially designed pads 2125L and 2125R.
  • glasses 2120 are supported either on the nose bridge by the nose bridge 2122 or by so-called pads 2125.
  • pads are relatively flat, slightly curved and oval.
  • they are either pivotally or tumbling on a projection extending from the nose bridge 2122 in order to ensure that the pads lie comfortably against the cable surfaces of the nose root.
  • the pads 2125 are designed as dimensionally stable, elongated healings which protrude from the glasses 2120 in the area of the nose bridge 2122 in the direction of the eye 2180.
  • the pads 2125 On their respective, elongated side facing the nose, the pads 2125 form the support surface which rests on the root of the nose. In their end area opposite the glasses 2120, the pads 2125 have a wing on the respective rope facing the eye, which is provided with a mirror or a reflective coating, for example a metal coating or a holographic coating.
  • the problem mentioned above can be overcome in particular by suitable signal processing of the detected and of the signals to be generated.
  • Optical markings permanently attached to the spectacle frame in the vicinity of the usual beam path 2130 can also be detected regularly or as required by the signal detection device 2151 for the purpose of calibrating its optical system.
  • FIG. 22 shows, in the form of a modification of the glasses 1920 shown in FIGS. 19A and 19B, interactive glasses according to a further preferred exemplary embodiment, in which the signal detection device 2251 of the combined signal detection and projection devices 2250 is able to record the corneal reflex image at least partially.
  • the cornea is usually rotationally symmetrical to the visual axis. Rays that fall perpendicularly to a central area of the cornea are thus confocal to the optical system of the eye 2280 and form it
  • the cornea 2283 consists largely of water and points out of it
  • the cornea 2283 does not cause a mirror-like reflection, but a diffuse one, which increases with the depth of the cornea 2283
  • Reflection event inside the cornea becomes more diffuse.
  • the spectacle lens 2224 in front of the eye the side of which facing the eye 2280 has a surface 2223 which is highly reflective of rays from this direction, has a specially designed shape which bundles the light reflected perpendicularly from the cornea in such a way that it as almost parallel light rays 2234 fall on the signal detection device 2251, while light that is not perpendicularly reflected from the cornea is directed in another direction.
  • the spectacle lens 2224 can be designed differently, but have a partially transparent holographically reflecting layer 2223, which likewise causes the light reflected perpendicularly from the cornea to be concentrated in such a way that it strikes the signal detection device 2251 as almost parallel light rays 2234, while not perpendicularly from light reflected from the cornea is directed in a different direction.
  • an aperture 2257 is provided shortly in front of the signal detection device 2251, which prevents detection of those light rays whose angle of incidence lies outside a narrow angle of incidence of the light rays 2234 which run almost in parallel, as described above.
  • the "eye tracking" function in this embodiment - as well as in the variants described above - is fulfilled in that the human eye is operated by means of a scanning process in which either active or passive, preferably in a wave range or an energy range does not perceive as imaging, the retina structure and thus the change in position of the center of the macula is frequently or continuously recorded and that the mirrors KS1 and KS2 recorded in the device 2250 are readjusted as described above in accordance with the result of this detection.
  • FIG. 23 shows, in the form of a modification of the glasses 1920 shown in FIGS. 19A and 19B, interactive glasses according to another
  • the additional element 2329 is preferably arranged confocal to the optical system of the eye 2380.
  • the degree of reflection of such an additional element 2329 can be related to the
  • the additional element 2329 preferably has a low (for example less than 10%) reflectance which is homogeneous over its entire reflecting surface.
  • reflective organs of the eye 2380 for example the cornea 2383 or the retina 2381, sometimes have very strong local reflection dependencies. Similar statements relate to the spectral reflection dependencies of the additional element or the reflecting organs of the eye 2380.
  • the additional element 2329 can preferably be designed such that it has a homogeneous degree of reflection over all relevant spectral rangesc, the different organs of the eye 2380 have very different degrees of absorption, which in many cases are also subject to strong local fluctuations.
  • the additional element 2329 should have as little effect as possible on the light falling on it.
  • the additional element 2329 is preferably made of a homogeneous translucent and uncolored material and with a constant thickness in the direction of the light rays directed towards the center of the eye.
  • the reflective contour of such an additional element 2329 is well defined and can accordingly be made available to the information system as known information, while the contour of the relevant reflective organs of the eye 2380 must first be determined. The latter can involve considerable effort in some cases.
  • the detection of light rays 2333a-2333c directed at the eye 2380 via such a salting element 2329 can thus provide high-quality images of the field of view. In the exemplary embodiment shown, only those rays that fall perpendicularly onto the additional element 2329 are effectively detected. This is achieved through the following measures:
  • the ropes of the spectacle lens 2324 facing the eye 23 are strong with rays incident from this direction reflecting surface 2323, and has a specially designed shape or coating that bundles the light rays reflected perpendicularly from the additional element in such a way that they fall as almost parallel light rays 2334 onto the signal detection device 2351, while light rays not reflected perpendicularly from the additional element in a different direction. Furthermore, an aperture 2357 is provided shortly in front of the signal detection device 2351, which prevents detection of those light rays whose angle of incidence lies outside a narrow angle of incidence of the light rays 2334 which run almost parallel and are as described above.
  • the correlation between the detected light and the perceived visual field must be determined.
  • this correlation is achieved by a preferred confocal arrangement of the additional element 2329 to the optical system of the eye 2380. It is therefore preferred that the additional element 2329 is attached to the glasses via an adjustable suspension such that the position of the additional element 2329 can be readjusted both in vertical and in two horizontal directions.
  • confocality is given when the additional element 2329, from an optical point of view, is arranged rotationally symmetrical to the visual axis and with an offset to the lens 2382, that the optical center of the optical system of the eye with the center of the sphere defined by the spherical or spherical additional element matches.
  • the visual axis can be adequately determined via the orientation of the pupil 2384, which is easily recognizable due to its sharp contours, and the orientation of which can be determined easily due to its round shape.
  • no pivoting of the additional element 2329 about the possible pivot axes of the eye 2380 is necessary to ensure confocality.
  • the additional element 2329 remains optically seen, due to a corresponding vertical and / or horizontal displacement of the additional element 2329, rolalion symmetrical to the visual axis.
  • the distance from lens 2382 there are various ways of determining the necessary distance. For example, an optical or acoustic measurement of the cornea 2383 can be carried out, the curvature of which gives a very good guide value for the correct arrangement of the additional element 2329.
  • Retinal or corneal reflex images can also be acquired at least partially, and the correct distance can be determined on the basis of a comparison of the reflex images with the light acquired via the additional element 2329.
  • the partially reflecting surface of the additional element 2329 and this confocal arrangement of the additional element to the eye 2380 only those rays 2333a-2333c that fall perpendicular to the surface of the additional element 2329 are confocal to the optical system of the eye 2380 and thus coincide with the rays falling on the retina.
  • KS2 are re-adjusted by the "eye tracker" according to the result of the position determination of the middle of the macula, where appropriate a synchronized one
  • Readjustment of the additional element 2329 can be made in case to maintain the confocality of the additional element 2329 to the eye as described above.
  • FIG. 24 shows a top view (FIG. 24A) and a front view (FIG. 24B) of a pair of glasses 2420 according to a further exemplary embodiment, in which two sensor devices 2461R and 2461L, for example two solid-state cameras, for example CCD or TTL cameras, for the purpose further signal detection, in particular from the visible field of view, are provided.
  • FIG. 24B also shows the left and right eyes 2480L and 2480R of a possible wearer 2402 of the glasses 2420. For the sake of clarity, however, no other features of the user 2402 are shown in FIG. 24B.
  • the cameras 2461 should be arranged as axially as possible for the eyes with respect to their "visual axes".
  • the cameras 2461 it has proven expedient in today's state of the art to arrange the cameras 2461 in the front area of the respective bracket parts 2421L, 2421R as shown. Installation in the area of the nose bridge 2422, e.g. in pads 2425, makes sense.
  • the solid-state cameras 2461 can be arranged in the spectacle frame above the respective spectacle lenses 2424L, 2424R in order to achieve a further axis alignment.
  • solid-state or other types of light detection systems can be built into the 2424 spectacle lens in the future, which can of course also be a plastic or other translucent material.
  • Such an arrangement of the cameras 2461 would enable an almost confocal signal acquisition with the respective eye 2480L, 2480R.
  • the information obtained from the sensor devices 2461 should possibly be correlated with the eyes 2480. Such a correlation is particularly important if the
  • Sensor devices 2461 can be realized by cameras 2461 and one Overlay image to be projected into the respective eye 2480L, 2480R on the basis of image information obtained from the cameras 2461.
  • parallax occurs, in which the "field of view" of the respective camera 2461L, 2461R does not match the naturally perceived field of vision.
  • the parallax would lead to an abnormal perception in particular if the eyes 2480 were rotated differently from the rest position or if there were objects in the near field of view. In such cases, the visual axis of the eye 2480 would be oblique to the "visual axis" of the respective camera 2461L, 2461R.
  • the signal detection device 2451 generates an at least partial reflection image of the visual field from the respective eye 2480L,
  • Characteristic pixels which can be found both in the captured reflex image and in the images captured by the cameras 2461, then serve as reference points for a perspective-correct projection of the cameras
  • Eye 2480 signals are used to determine the direction of the eye
  • a correlation also makes sense in system applications in which the eyes 2480 are prevented from perceiving the visual field. This is the case, for example, when using closed, so-called 'virtual reality' glasses 2420 (as shown, but with opaque glasses 2424), in which only an artificially generated image is presented to the eyes 2480.
  • the correlation discussed could For example, it consists in detecting the direction of view of the eye 2480 as described above and in projecting a virtually generated image corresponding to the orientation of the respective eye 2480L, 2480R here the glasses 2420 serve as a coordinate system.
  • a correlation can be established between the respective eye 2480L, 2480R and the surroundings.
  • a system could be used, for example, in a virtual adventure house, similar to a haunted house. For example, anyone walking on a treadmill could be projected with a virtual image that gives them the feeling that they are walking on floating tree trunks in the middle of a wild river.
  • the deflection mirrors of the signal detection and projection device are controlled in such a way that they are adapted to the current visual axis.
  • FIG. 25 shows an optical system according to a further exemplary embodiment, in which a tilting mirror 2555 switches over between
  • the advantage of this optical system is that the same swash mirrors 2554H and 2554V can be used for a picture from the visual field and for a projection onto the retina 2581, and that the beam path for a picture from the visual field and the beam path for a picture accordingly, the eye 2580 or a projection onto the retina 2581 are largely identical.
  • the optical system already provides a high correlation between the light detected from the visual field and the signals detected from the eye, or a high correlation between the obtained from the visual field and the image projected onto the retina. This means that no additional correlation errors are attempted by the fact that the beam paths discussed run over different wobble mirrors, which could have different rotational shares.
  • the same light detection device 2551 can even be used for light detection from the visual field and light detection from the eye. The correlation can only be negatively influenced by the reflection on the spectacle lens 2524 and the optical system of the eye 2580.
  • the "eye tracking" function is implemented in this embodiment in that the swash mirrors 2554H and 2554V are readjusted analogously to the adjustment as described with reference to FIG. 8.
  • Previous electronic books or newspapers have the disadvantage of being too heavy and / or too unwieldy, and can also only represent a limited amount of information per page.
  • Portable video and television sets are also heavy and / or unwieldy.
  • the information system according to the invention is designed in such a way that the provision of information includes a projection of image information into the eye, various visually related media, for example electronic books or newspapers, television or video games, can be implemented by the information system.
  • the information system according to the invention is implemented, for example, as described above, in the form of portable glasses, which can be worn via a cable, infrared or radio connection, for example to an information network Storage device, for example a CD-ROM or DVD reader, or another source of information can be connected.
  • An advantage of such an embodiment of the information system according to the invention is that its detection of signals from the eye in connection with its detection of the visual field enables a projection in which the projected text or the projected images appear to be fixed in space.
  • the "eye tracker" described above can be used, which enables a determination of the correlation of the visual axis to the field of view and which can control the projection accordingly, so that the information projected onto the eye vis-a-vis the field of view despite movements of the Eye seem to be immobile.
  • the determination of the correlation of the visual axis to the surroundings can also be supported by position sensors mounted in the glasses.
  • the virtual location of the fixation can be determined, for example, by means of a fixation with the eyes in connection with a wink or a keystroke or also automatically, for example by means of an image processing analysis of the field of vision, which determines an area of the field of vision that is as low in content as possible.
  • the disruptive effect of the natural field of view which is not necessarily covered by the projection of the information, could be reduced by a color-complementary "wiping out", in which complementary-colored image points are determined on the basis of the light detected from the field of view, the correlated projection of which on the respectively assigned areas of the retina den natural background appears as white due to color addition. If a black background is desired, the perceived overall brightness of the projection must exceed the perceived overall brightness of the natural visual field by approx. 24% to 20%, so that even the brightest points of the natural visual field are perceived as black.
  • image information representing virtual control buttons could be projected into the eye in such a way that they also appear fixed in the visual field in the vicinity of the text or image.
  • the virtual information medium could be remotely operated by targeting the corresponding control button with the fovea centralis plus pressing a button or winking, ie turning the page, fast-forwarding, rewinding, or the like Access to lexica, databases, etc. by sighting words or parts of pictures.
  • the information system could also be operated, for example, by means of a menu guidance, in which operating menus "jump open” when viewing certain image areas in order to enable eye-controlled selection from the hierarchical menu which may be structured. The detection of this "sighting" is supported by the "eye tracker", which can inform the information system about the position of the center of the macula.
  • Information system lies in the fact that the amount of data necessary for a sufficient instantaneous display is far less than the amount of data that would be necessary for high-resolution display of the entire field of view. This is based on the fact that the information system knows the area of the sharpest vision on the basis of the above-described determination of the center of the macula. Thus, only those parts of the projection that involve the area of the central fovea need to be carried out with high resolution. A projection with a low pixel density is sufficient on other areas of the retina. Accordingly, the amount of data required for a current display is reduced, which brings clear system advantages. In particular, the perceived size of the projected image can be chosen as desired without the result that large amounts of data cannot be processed to present the current image.
  • the current visual axis determines the image section.
  • the projection takes place in such a way that the current image section fills the entire active area of the retina. Additional sections of the image can be brought into the field of vision by moving the eyes. If the projected image is smaller than the visual field, then only a limited part of the retina has to be projected. If the natural background of the visual field is not hidden, it changes with eye movements. Particularly in the case of television or cinema-like information presentations, a projection that lulls the visual field is preferred.
  • the projection can be carried out stereoscopically, with each eye being fed a picture which is so slightly different that the brain believes it is able to perceive a three-dimensional overall picture.
  • an optimal system-human interface could be realized, for example, for 3D television, 3D video games, SD-CAD applications or other, in particular interactive, 3D applications.
  • the information system preferably comprises further operating elements, for example a control stick, pedal or steering wheel, which enables navigation or a change of perspective within the displayed virtual image or any other influence on the information presentation or a system connected to the information system.
  • the eye itself can also act as an operating element.
  • the information systems described above are suitable for configuration as an ophthalmic system due to their detection from the eye and signals which have been reflected back.
  • the information system can be implemented as a positioning system for ophthalmic surgery, especially for ophthalmic laser surgery.
  • the information system according to the invention is also used, for example, as an ophthalmic diagnostic system, visual aid system and / or visual error correction stone.
  • the therapeutic system can be connected to an optical system described above for the purpose of exchanging information in such a way that information regarding the instantaneous position of the eye is made available to the therapeutic system, so that precise automated therapy of the eye can also take place when the eyes are moving.
  • a therapeutic laser beam is directed over the optical system.
  • a laser treatment of the eye, especially the retina, can thus be done in the same way as. a projection as described above.
  • pathological veins of the choroid can be obliterated by injecting or ingesting a photosensitive agent, and by irradiating pathological areas of the choroid with pinpoint accuracy for several tens of seconds.
  • the output device of the optical system can have a projection device which projects vision-improving image information onto the retina.
  • the information device can include an evaluation device that determines the vision-improving image information on the basis of the light detected from the visual field.
  • the image-enhancing image information is preferably projected onto the retina in consideration of the eye position information obtained from the "eye tracker" in correlation with the signals acquired from the eye in such a way that the naturally perceived field of view and the projected image information are perceived as a uniform image.
  • the vision-improving image information is projected onto the retina in such a way that the otherwise naturally perceived field of vision is not perceived by the eye at all.
  • the degree of perception of an image thus projected in relation to the naturally perceived image can be controlled by the brightness of the projected image points.
  • Such an information system can be used, for example, to carry out a vision correction for short-sighted or far-sighted people and those with poor color vision, the “eye tracking” function providing the possibility of performing the vision correction depending on the position of the eyes.
  • the information system can be set to a (quasi) fixed correction, enable a changeable correction, or adapt dynamically to the visual defect.
  • the correction takes place via an optionally adjustable optical focusing system within the projection device or by image-processed ndc measures. The latter can be achieved with little system effort.
  • the helmet could project position information or orientation aids onto the retina.
  • the projection of such information into the eye is preferably similar to the projection of an electronic newspaper. This means that a distraction of the soldier is avoided by the fact that the image of the information appears to be fixed in space or vis-à-vis a neutral position of the eye, again advantageously from the "eye-tracking" function Use is made. Even if radio or other data transmission from the soldier to a command center is generally to be avoided for strategic camouflage reasons, in certain cases a transmission from with the
  • the soldier's eye movements correlated to a command center.
  • the information device can have one or more cameras that capture images from outside the visual field.
  • the image information obtained in this way is then projected onto the retina via a projection device.
  • the additional image projected onto the visual field image could, for example, be projected as an image in the image as a small image in the corner of the natural or projected facial image or appear as a longitudinal stripe at the bottom.
  • the detection of signals from the eye together with the visual field detection serves to keep the projected images in correlation with the movements of the eye.
  • the integrated "eye tracking" function can ensure that the projected additional image maintains a predetermined position regardless of the viewing direction.
  • the entire description of the various embodiments has been made on the premise that the retina moves in one plane during an eye movement. In fact, however, it moves spatially together with the eye and in accordance with the curvature of the eyeball, so that measures are preferably taken to reduce the light weight that may result
  • Such a measure could consist of repeatedly over-storing the image data stored by the retina, i.e. the saved and to
  • An alternative is to add further elements in the optical system, such as the beam splitter or the spectacle lens and / or the additional element (see FIG. 23). additionally adjustable to counteract the distortions of the image.
  • the occurrence of distortions does not only have disadvantages.
  • Valuable knowledge can also be gained from the distortions. For example, have the larger blood vessels of the retina been extensively mapped at a certain relative position of the eye vis-a-vis the scanning system, i.e. If the course of these blood vessels has been extensively documented in relation to a specific coordinate system, then the distortion of the captured image of the later recognized relinal blood vessels can be used to infer the relative distortion of the coordinate system changed due to the rotation of the eyes compared to the previously determined coordinate system.
  • the image data to be projected and / or the scanned could be pre-equalized or rectified, for example by image processing measures, so that the projected image appears on the retina without distortion despite distortion or a distortion-free image is created from the distorted scanned image.
  • image processing measures for example by image processing measures, so that the projected image appears on the retina without distortion despite distortion or a distortion-free image is created from the distorted scanned image.
  • the mathematically trained image processing specialist is familiar with the measures to be used to compensate for a coordinate system distortion.
  • a scan beam path of the optical system was spoken of at various points.
  • the invention should be usable with all systems in which the retina is illuminated using a light source included in the system and is thus actively scanned and / or passively scanned using the ambient light.
  • the image information about the retina structure is preferably obtained on the basis of an infrared signal.
  • it could also be obtained on a fundamentally different basis, such as, for example, by means of an image of the retina obtained in some other way, such as, for example, by means of an overall image, for example by means of a CCD camera, or, for example, by using other acoustic or electromagnetic waves for the scanning, such as, for example invisible light is used, but it must be ensured that the wavelength range is selected so that the optical system of the eye is transparent to this wavelength range.
  • a wavelength in the visible spectrum can also be selected, it being preferable to ensure that the energy level of this light (intensity and pulse duration) is selected such that it remains below the brightness threshold of the eye, which would be achievable, for example, by extremely short pulses.
  • the optical system has a scanning system for scanning the eye, in particular the retina, and scans in predetermined cycles according to a predetermined movement pattern and / or makes a projection, wherein a) the movement pattern () of the scanning beam path () in coordination with the scanning cycles, preferably depending on Demand is used in time with the cycles and, if necessary, in a modified form to determine the middle of the pupil () and / or the middle of the macula (); and then b) the optical center of the movement pattern is moved to the middle of the pupil () or macula ().
  • the movement pattern () for the rough determination of the pupil center () comprises at least three linear () movement sections (,,), wherein a first movement section () preferably starting from the reference point (), which intersects a transition between the iris () and the dermis of the eye twice, a second movement section () follows, which contains the perpendicular bisector () of a first secant () which the first movement section () forms with respect to the iris, the third movement section () in turn is perpendicular to the second movement section () and either runs through the center of the pupil determined during the second movement section via the detected gray values or intersects a second secant () formed by the second movement section with respect to the iris.
  • Device for adapting an optical system in particular a system for emitting signals depending on the human
  • the optical system has a scanning system for scanning the eye, in particular the retina, and scans and / or projects in predetermined cycles according to a predetermined movement pattern, characterized by a) a device with which the movement pattern () of the scanning beam path () as required and in The cycle of the cycles can be changed in order to determine the middle of the pupil () and / or the middle of the macula (); and b) a device () for tracking the optical center of the movement muscle of the scanning and / or projection beam path into the determined pupil () or macular center ().
  • a device characterized by a two-dimensionally operating scanning means () and a Ausensecincardi () with which the detected from Abtaslstrahl () gray levels in two coordinate () can be evaluated.
  • Device according to point 18 characterized by a storage device () in which the coordinates of the pupil or macular center () can be stored with respect to a reference point on the optical system ().
  • Device Device according to one of the items 17 to 19, characterized by a beam guide arrangement () with which the scanning and / or projection beam can be controlled in accordance with the movement pattern, and by an adjusting device with which a neutral central position of the beam guide arrangement () is traceable using the change in the coordinates of the pupil or macular center.
  • Device characterized by a storage device with which the rough coordinates of the pupil center () can be stored in accordance with a rough determination of their position.
  • Device characterized by a beam guide arrangement with which the scan beam can be moved on a circular or elliptical spiral or on concentric circles or ellipses.
  • Device characterized by a device for determining the relative position of at least one further characteristic area of the retina () with respect to the optical system (), a comparator device with which the deviation of the determined coordinates () of this characteristic area from a previously stored pair of values can be determined, and a readjustment device with that the movement pattern of the scan or projection beam can be readjusted in such a way that the deviation becomes zero.
  • Device according to one of the items 17 to 23, characterized in that the scan beam works in the infrared range to determine the position and orientation of the eye.
  • Device according to one of the items 17 to 24, characterized by the use in an information projection system for the preferably continuous accurate transfer of information to selected pixels of the retina.
  • Device according to one of the items 17 to 24, characterized by the use in a system for correlating the alignment of at least selected elements of an optical system for taking an image from the visual field or an image incident on the eye with the current direction of view.
  • the optical system having a scanning system () for scanning the eye, in particular the retina, and scanning and / or projecting in predetermined cycles according to a predetermined movement pattern, characterized in that a) the movement pattern () of the scan beam () in coordination with the
  • Scanning cycles preferably as required and in time with the cycles and possibly in modified form for determining the coordinates () of the current pupil center () and / or the macular center (); and b) the change in position is determined on the basis of a comparison of the coordinates of the current pupil and / or macular center () with the coordinates last saved ().
  • Determination of the change in the spatial relative position of the eye with respect to the optical system () additionally the change in the relative position of at least one further characteristic area () of the retina with respect to the optical system () is used by including the current position data (coordinates) of this characteristic area () previously stored data (coordinates) can be related.
  • Points 27 to 30, characterized by a) a device with which the movement pattern () of the scan beam () can be changed as required and in time with the cycles in order to determine the
  • Device according to item 31 characterized by a two-dimensionally operating scanning device () and an evaluation device (), with which the gray values recorded by the scanning beam () can be evaluated in two coordinates ().
  • Device characterized by a storage device () in which the coordinates of the pupil or macular center () can be stored with respect to a reference point on the optical system ().
  • Device characterized by a beam guide arrangement () with which the scanning and / or projection beam can be controlled in accordance with the movement pattern, and by an adjusting device with which a neutral central position of the beam guide arrangement ( ) can be tracked using the change in the coordinates of the pupil or macular center.
  • Device characterized by a storage device with which the rough coordinates of the pupil center () can be stored in accordance with a rough determination of their position.
  • Device characterized by a beam guide arrangement with which the scan beam can be moved on a circular or elliptical spiral or on concentric circles or ellipses.
  • Device characterized by a device for determining the relative position of at least one further characteristic area of the retina () with respect to the optical system (), a comparator device with which the deviation of the determined coordinates () of this characteristic area can be determined from a previously stored pair of values.
  • Device Device according to one of the items 31 to 34, characterized in that the scan beam for determining the position and orientation of the eye works in the infrared range.
  • Device Device according to one of the items 31 to 35, characterized by the use in an information projection system for preferably continuous, accurate transfer of information to selected pixels of the retina.
  • Device characterized by the use in a system for correlating the alignment of at least selected elements of an optical system for taking an image from the visual field or an image incident on the eye with the current one
  • Projection system to the alignment of an eye, wherein the center of a movement pattern of a scan and / or projection movement executed in predetermined cycles, which is an output or. End point of a beam path of the light reflected back from the eye, detected by the scanning system or of the light projected into the eye by the projection system describes quasi two-dimensionally in the eye if the
  • Beam path is changed in accordance with the scan or projection movement, is moved into the pupil or macular center of the eye; after the movement pattern of the scanning movement has been used in coordination with the predetermined cycles to determine the middle of the pupil or the middle of the macula.
  • optical scanning and / or projection system is a system for emitting signals as a function of image information incident on the human retina.
  • Information content preferably as gray values, of the light reflected back by the eye and detected by the scanning system is evaluated in two coordinates in order to determine the pupil or macular center.
  • Method according to one of the items 38-43 wherein the movement pattern of the scan movement for determining the pupil or macular center is preceded by a start pattern which, by evaluating the information content, preferably the gray values, of the light detected by the scanning system in two coordinates for rough determination of the Coordinates of the pupil center is used.
  • Method according to item 44 or 45 the coordinates determined during the rough determination of the middle of the pupil being used to determine the movement pattern of a subsequent scan movement for fine determination of the middle of the pupil or macula.
  • Rough determination of the pupil center comprises at least three linear movement sections, a second movement section adjoining a first movement section preferably starting from the reference point and intersecting a transition between the iris and dermis of the eye, which runs along the perpendicular bisector of a first secant, which is the first movement section between the two iris / dermis transitions, and wherein the third movement section is in turn perpendicular to the second movement section and either through the center of the pupil determined during the second movement section via the information content, preferably via the gray values, of the detected light or one of the intersects the second movement section with respect to two second secants formed in the middle of the iris / leather skin transition.
  • Instantaneous coordinates of the pupil center can be used as roughly determining coordinates of the pupil center.
  • Method according to one of the items 48-50 the coarse-determining coordinates of the pupil center being recursively refined on the basis of the information content, preferably on the basis of the gray scale, of the light detected during the scanning movement for fine determination of the pupil center.
  • Movement section crosses an iris / pupil transition for the second time, is used as the starting point for a scan movement for fine determination of the pupil or macular center.
  • Scanning movement in the form of a circular or elliptical spiral or concentric circles or ellipses is carried out and / or repeated until the information content, preferably the gray values, of the light detected during the radially growing scanning movement is a clear indication of the diameter and / or Center of the macula.
  • Information content preferably the gray values, of the light detected in a coherent, at least 360 ° continuous scanning movement section has a clear signal jump from a light value to a dark value and vice versa.
  • Deviations of determined position data of at least one characteristic area of the retina from previously stored position data of this characteristic area are readjusted to the center of the movement pattern of the scanning and / or projection movement, which previously lay in the pupil or macular center of the eye, in the pupil or To move the macular center of the eye, and / or to track the movement pattern of the temporal changes in position of the optical system of the eye.
  • Method according to one of the items 38-57 wherein a representation of at least selected areas of the retina is recorded and stored in a buffer, and that to determine a change in the spatial position of the eye, a comparison of the filed representation with information that is made is carried out light scanned by the retina and detected during a current scanning movement.
  • Area at least a portion of the vascular structure of the retina is used.
  • Projection system to the alignment of an eye, with a laying device, which is the center of a movement pattern of a scan and / or projection movement, which is carried out in predetermined cycles, and which is a starting point or end point of a siral path of the light reflected by the scanning system or reflected by the scanning system
  • Projection system describes light projected into the eye quasi-two-dimensionally in the eye when the beam path is changed in time in accordance with the scan or projection movement, guides into the pupil or macular center of the eye; and a limiter which uses the movement pattern of the scanning movement in coordination with the predetermined cycles in order to determine the center of the pupil or macula.
  • a tracking device which uses the information content of the light detected during the scanning movement to determine temporal changes in the relative position of the optical scanning and / or projection system to the optical system of the eye in order to determine the movement pattern of the scanning and / or track the projection movement on the basis of the determined change in the relative position of the temporal position changes of the optical system of the eye.
  • Device Device according to item 62 or 63, wherein the optical scanning and / or projection system is a system for emitting signals depending on the wedge of image information incident on the human retina.
  • Device Device according to one of the points 62-64, wherein the determination device uses the movement pattern of the scan movement in time with the pre-determined cycles and / or in a modified form to determine the pupil center or macular center.
  • Device according to one of the points 62-66, which repeats the movement pattern of the scanning movement at least in sections several times, in particular repeatedly, until there are clear values for the coordinates of the pupil or macular center.
  • a starting pattern which, by evaluating the information content, preferably the gray values, of the light detected by the scanning system in two coordinates for coarse determination of the coordinates the pupil center is used.
  • Device which uses the coordinates determined during the rough determination of the pupil center when determining the movement pattern of a subsequent scan movement for fine determination of the pupil or macular center.
  • the starting pattern for the rough determination of the center of the pupil comprises at least three linear movement sections, one preferably from the reference point starting first movement section, which intersects a transition between the iris and dermis of the eye twice, a second movement section follows, which runs along the perpendicular bisector of a first secant, which corresponds to the first movement section between the two iris / dermal transitions, and the third movement section in turn is perpendicular to the second movement section and either runs through the center of the pupil determined during the second movement section via the information content, preferably the gray values, of the detected light or intersects a second secant formed by the second movement section with respect to two iris / Lederhaul transitions.
  • Device which carries out a scanning movement in the pattern of a circular or elliptical spiral or concentric circles or ellipses around roughly determining coordinates of the pupil center for fine determination of the pupil center.
  • Device which recursively refines the roughly determining coordinates of the pupil center on the basis of the information content, preferably on the basis of the gray values, of the light detected during the scanning movement for fine determination of the pupil center.
  • Movement section crosses an iris / pupil transition for the second time, as the starting point for a scan movement for fine determination of the pupil or macular center.
  • PupiUenum received coordinates outgoing, growing radially
  • Fine determination of the macular center and / or structure breaks off when the information content, preferably the gray values, of the light detected in a coherent, at least 360 ° continuous scan movement section has a clear signal jump from a light value to a dark value and vice versa.
  • Device which determines the relative position of at least one characteristic area of the retina with respect to the optical scanning and / or projection system, and that the deviations of the determined position data of this characteristic area from previously stored position data of this characteristic area for determining the spatial position of the eye with respect to the optical scanning and / or projection system.
  • Device which detects a representation of at least selected areas of the retina and stores it in a buffer, and to determine a change in the spatial position of the eye, compares the stored representation with information which the device derives from of the retina that has been scanned during a current scanning movement.
  • Area draws at least a portion of the vascular structure of the retina.
  • Device according to one of the items 62-83, light in the visible and / or in the infrared range being detected by the scanning system.
  • Device according to one of the items 62-86, with a beam guide arrangement which can control the beam path of the light detected by the scanning system in such a way that it describes a circular or elliptical spiral or concentric circles or ellipses in the eye.
  • Position data of this characteristic area from previously stored position data of this characteristic area can be used to determine the spatial position of the eye with respect to the optical scanning and / or projection system.
  • Device with a readjustment device with which the movement pattern of the scanning and / or projection movement can be readjusted in accordance with the deviations of the determined position data of at least one characteristic area of the retina from previously stored position data of this characteristic area in order to Relocate the center of the movement pattern of the scanning and / or projection movement, which was previously in the pupil or macular center of the eye, to the pupil or macular center of the eye, and / or to track the movement pattern of the positional changes in the optical system of the eye ,
  • a movement pattern of a scan movement that describes a starting point of a beam path of the light reflected back from the eye and detected by the scanning system quasi two-dimensionally in the eye when the beam path is changed in time according to the scan movement is used to determine the instantaneous coordinates of the pupil and / or to determine the macular center of the eye; and the change in the relative position is determined on the basis of a comparison of the instantaneous coordinates of the pupil and / or macular center with previously stored coordinates of the pupil or macular center.
  • Projection system is a system for emitting signals as a function of image information incident on the human retina.
  • Scan and / or projection system and the optical system of the eye at least one of the method steps and / or method features of the points
  • Information content of the light detected during the scanning movement is used to determine temporal changes in the relative position of the optical scanning and / or projection system to the optical system of the eye, and the movement pattern of the scanning movement and / or a projection movement using changes in the relative position of the temporal position changes of the optical system of the eye is tracked.
  • Method according to one of the items 91-94 knowledge of the position of the optical scanning and / or projection system relative to the optical system of the eye being used to determine the movement pattern of the scanning movement and / or a projection movement relative to the optical system of the eye position.
  • a first determination device which describes a movement pattern of a scan movement, which quasi two-dimensionally in the eye describes a starting point of a beam path of the light reflected back from the eye and detected by the scanning system when the beam path is changed in time according to the scan movement, for the current ones Determine coordinates of the pupil and / or macular center of the eye; and a second determination device which determines the change in the relative position on the basis of a comparison of the current coordinates of the pupil and / or macular center with previously stored coordinates of the pupil or macular center.
  • Projection system is a system for emitting signals as a function of image information incident on the human retina.
  • Relative position and / or the change in the relative position between the optical scanning and / or projection system and the optical system of the eye comprises at least one of the device features of points 62-90.
  • Tracking device which uses the information content of the light detected during the scanning movement to determine temporal changes in the relative position of the optical scanning and / or projection system to the optical system of the eye in order to determine the movement pattern of the scanning and / or projection movement on the basis of the determined change to track the position of the optical system of the eye over time.
  • Device Device according to a point 96-99, with a positioning device which uses knowledge of the relative position of the optical scanning and / or projection system to the optical system of the eye to determine the movement pattern of the scanning movement and / or a projection movement relative to the optical system of the eye Eye position.
  • Information projection system for preferably continuously accurate projection of information onto selected image points of the retina, with a device according to one of the points 62-90 or 96-100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)

Abstract

Verfahren und Vorrichtung zur Anpassung eines optischen Systems an die Blickrichtung des menschlichen Auges und zugehöriges System zur Bestimmung der Veränderung der Relativlage zwischen dem optischen System und dem optischen System des Auges, insbesondere ein Verfahren zur Anpassung eines optischen Scan- und/oder Projektionssystems an die Ausrichtung eines Auges, wobei das Zentrum eines in vorbestimmten Zyklen ausgeführten Bewegungsmusters einer Scan- und/oder Projektionsbewegung, das ein Ausgangs- bzw. Endpunkt eines Strahlengangs des vom Auge zurückreflektierten, vom Scansystem erfaßten Lichtes bzw. des vom Projektionssystem in das Auge projizierten Lichtes quasi zweidimensional im Auge beschreibt, wenn der Strahlengang gemäß der Scan- bzw. Projektionsbewegung zeitlich verändert wird, in die Pupillen- oder Makulamitte des Auges verlegt wird; nachdem das Bewegungsmuster der Scanbewegung in Abstimmung mit den vorbestimmten Zyklen zur Bestimmung der Pupillenmitte bzw. Makulamitte herangezogen worden ist.

Description

Beschreibung
Verfahren und Vorrichtung zur Anpassung eines optischen Systems an die Blickrichtung des menschlichen Auges
Die Erfindung betrifft ein Verfahren zur Anpassung eines optischen Systems, insbesondere eines Systems zur Abgabe von Signalen in Abhängigkeil von auf die menschliche Netzhaut einfallender Bildinformation, an die Blickrichtung des Auges, gemäß dem Oberbegriff des Patentanspruchs 1, sowie ein zugehöriges System, d.h. ein Verfahren und eine Vorrichtung zur Bestimmung der Veränderung der Rclalivlage zwischen dem optischen System und dem optischen System des Auges, gemäß dem Oberbegriff des Patentanspruchs 27. Dabei weist das optische System ein Scansystem zur Abtastung des Auges, insbesondere der Netzhaut, auf, und der Abtast- und /oder der Pr jcklionsslrahlengang hat ein vorbestimmtes Bewegungsmuster, das in vorbestimmten Zyklen durchlaufen wird.
Optische Systeme dieser Art sind beispielsweise aus der DE 196 31 414 AI bzw. der WO98/05992 A2 und DE 197 28 890 bekannt. Dabei wird ein als Brillensystem ausgebildetes System dazu herangezogen, ein auf der Netzhaut des Auges abgebildetes Bild der Außenwelt mittels eines Scansystems nach dem "flying spot"-Verfahren abzutasten und nach erfolgter Signalaufbereitung durch eine elektronische Bildverarbeilung ein modifiziertes oder ergänztes Laserbild auf die Netzhaut punktgenau, d.h. positionsgenau und damit synchron mit dem wahrgenommenen Bild zu projizieren. Das Abtasten ebenso wie die Projektion kann gleichzeitig die Strahlung aller Grundfarben ROT, GRÜN und BLAU verwenden. Gemäß einem weiteren Vorschlag der Erfinder, der Gegenstand der internationalen Patentanmeldung PCT/EP00/09842 ist, deren Inhalt und Offenbarung ausdrücklich in die vorliegende Anmeldung einbezogen werden soll, ist das System hinsichtlich der Signalverarbeitung optimiert worden, indem der Projektionsvorgang bei laufendem Abtastvorgang ausgeführt wird. Allen einschlägigen und bislang vom Erfinder mitentwic kellen optischen Systemen ist gemeinsam, dass der optische Strahlengang beim Abtasten und/oder bei der Projektion zyklisch mit verhältnismäßig großer Frequenz von beispielsweise 100 Hz ein vorbestimmtes Bewegungsmusler, beispielsweise in Form eines Kreis-, Ellipsen- oder Spiralscans durchläuft. Die große Frequenz ist erforderlich, damit für das Auge - wie beim Betrachten eines Films oder eines Fernsehbildes - ein "kontinuierlicher" und vor allem ein flackerfreier Bildablauf entsteht, wenn die Bildfrequenz über 48 Hz liegt. Die Steuerung des Bewcgungsmuslers, das für Abtastung und Projektion unterschiedlich sein kann, erfolgt durch ein in das Brillensystem integriertes Bewegungssteuersystem für entsprechende, um unterschiedliche Achsen schwenkbar gelagerte Slrahlenablcnkspiegel .
In drei weiteren älteren Anmeldungen PCT/EP00/09840, PCT/EP00/09841 und PCT/EP00/09843, deren Inhalt in die vorliegende Offenbarung ausdrücklich einbezogen werden soll, sind Modifikationen des optischen Systems sowie vorteilhafte Anwendungsgebiete offenbart, denen allen gemeinsam ist, dass das optische System zum Bestandteil eines Informationssystems wird, das sich bei guter Implementierbarkeit durch eine verbesserte Informalionsdarbielung auszeichnet.
Weil die vorstehend beschriebenen optischen Systeme in der Lage sind, die auf die menschliche Netzhaut einfallende Information unmittelbar und in zeitlicher und räumlicher Übereinstimmung mit dem vom Auge aufgenommenen Bild zur Deckung zu bringen bzw. zu korrelieren, wird deren Einsatzgebiet stark erweitert, wobei eine Besonderheit des optischen Systems darin besteht, dass das gesamte maximale Blickfeld in die Informationsverarbeitung cinbezogen werden kann. Allerdings stellt sich dann das Problem, die jeweils gewünschte Funktion des optischen Systems mit einer gleichbleibend guten Qualität über den gesamten Blickwinkelbereich des menschlichen Auges bereit zu stellen, wobei auch der Dynamik des Auges, d.h. schnellen Augenbewegungen, Rechnung getragen werden soll.
Mit der vorliegenden Erfindung soll dieses Problem mit möglichst einfachen Mitteln gelöst werden. Gemäß einem ersten Aspekt der Erfindung erfolgt dies durch ein Verfahren zur Anpassung eines optischen Systems an die Blickrichtung des Auges mit den Merkmalen des Patentanspruchs 1.
Gemäß einem zweiten Aspekt der Erfindung wird die Aufgabe durch ein
Verfahren und eine Vorrichtung zur Bestimmung der Veränderung der Relativlage zwischen dem optischen System und dem optischen System des Auges mit den Merkmalen des Patentanspruchs 27 gelöst.
Durch die erfindungsgemäßen Maßnahmen liegt zu jedem Zeitpunkt eine möglichst genaue Information über die Lageveränderungen des optischen Systems des Auges bezüglich des optischen Systems vor, wobei ein besonderer Vorteil darin besteht, dass das Bewegungsmuster des Scanstrahls zur Gewinnung dieser Information herangezogen wird. Somit ist weder eine zusätzliche Kinematik, noch eine zusätzliche Optik für die Bestimmung der Pupillenmitlc und damit der Blickrichtung erforderlich, so dass der vorrichtungstechnische Aufwand für ein exaktes und positionsgenaues "eye-tracking" minimal gehalten werden kann. Weil erfindungsgemäß der zum "eye-tracking" dienende Verfahrensschritt je nach Bedarf, aber im Takt mit den Abtaslzyklen durchgeführt wird, d.h. weil der Takt der Abtast- bzw. Projektionszyklen auch maßgeblich für die Erfassung der Blickrichtung ist, wird kein zusätzlicher Taktgeber notwendig, so dass der vorrichtungstechnische Aufwand zur Durchführung des erfindungsgemäßen Verfahrens weiter reduziert wird. Weil also mit dem Verfahren entsprechend Patentspruch 1 das optische Zentrum des Bewegungsmusters bedarfsgerecht und im Takt der Abtast- und/oder Projektionszyklen in die zuvor erfasste Pupillen- oder Makulamitte gelegt wird, gelingt es mit geringem Aufwand, das optische System so zu steuern, dass selbst bei schnellen Augenbewegungen keine die Systemfunktion beeinträchtigenden Verzerrungen oder Verschiebungen der auf die Netzhaut eingespielten bzw. von der Nezthaut abgetasteten Information auftreten. Das optische System folgt somit mit größmöglicher Genauigkeit jeder Augenbewegung, auch wenn sie spontan und schnell über einen großen Winkel erfolgt.
Durch einen vorzugsweise häufigen, in Abstimmung mit dem Abtasttakt durchgeführten Vergleich der momentanen Koordinaten der Pupillen- oder
Makulamitte mit einem zuvor gespeicherten Datensatz gemäß Anspruch 27 und unter Berücksichtigung der hohen Taktfrequenz, mit der die Relativlagebestimmung vorgenommen wird, wird die Voraussetzung dafür geschaffen, dass das optische System selbst bei schnellen Augenbewegungen mit inkremental kleinen Steuerbewegungen so nachjustiert werden kann, dass stets eine systemgerechte, ggf. konfokale Abtastung des Auges stattfindet, was der Funktion, wie z.B. der Abbildungsqualität des optischen Systems in allen seinen verschiedenen Anwendungsfällen zugute kommt.
Dabei ergibt sich der zusätzliche Vorteil, dass das Verfahren des Patentanspruchs 1 - wenn es jedem vollständigen Abtast-Bewegungsmuster des Scan- und/oder Projektionsstrahls vorangestellt wird, gleichzeitig dazu herangezogen werden werden kann, nur sinnvolle Ablasl-Zyklen, zuzulassen. Dies kann beispielsweise dadurch erfolgen, dass das Bewegungsmuster zur Bestimmung der Pupillen- und/oder Makulamitte erst dann als abgeschlossen gilt oder abgeschlossen wird, wenn eindeutige Werte für die Lage der Pupille oder Makula erfasst sind. Dadurch kann wirksam und mit einfachen Mitteln ausgeschlossen werden, dass ein Scanvorgang beispielsweise bei geschlossenem oder teilweise geschlossenem Auge, wie z.B. bei einem Lidschlag, durchgeführt wird.
Es hat sich herausgestellt, dass die zur Bestimmung der Pupillen- und/oder
Makulamitte erforderliche Bewegung des optischen Strahlengangs im Vergleich zur Gesamtweglänge des Abtast-Strahlengangs bei einem Voll-Scan verhältnismäßig klein sein kann, so dass durch die erfindungsgemäße Maßnahme zur häufigen oder kontinuierlichen Bestimmung der Veränderung der Relativlage zwischen dem optischen System und dem optischen System des Auges im wesentlichen weder Zeit noch Qualität der optischen Bildver- und/oder -aufbercitung verloren geht. Dieser Effekt wird dadurch zusätzlich verstärkt, dass die Datenmenge, welche zur Bestimmung der Pupillen- und/oder Makulamitte erforderlich ist, im Vergleich zu der Datenmenge, die die auf das Auge einfallende Bildinformation wiedergibt, sehr klein gehalten werden kann. Dadurch kann die Abtaslgeschwindigkeit bei der Bestimmung der Pupillenmitte sehr groß sein, so dass zusätzlich Zeit für den eigentlichen Bildablast-Scan gewonnen wird. Bei diesem Scanvorgang kann es sich dann um einen Abtastvorgang des Nelzhautreflexes oder aber auch um Abtastvorgänge handeln, mit denen eine andere, auf die menschliche Netzhaut einfallende Bildinformation abgetastet wird, wie z.B. um den Abiastvorgang des Hornhaulreflexbildes oder eines zwischen Brillenglas und Auge geschalteten telreflektierenden Zusatzelements, was in den älteren Anmeldungen der Anmelderin, nämlich in PCT/EP00/09840, PCT/EP00/09841 und PCT/EPOO/09843 im einzelnen beschrieben ist.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Mit der Weiterbildung des Anspruchs 2 kann das Datenvol innen, das bei der Bestimmung der Pupillen- und/oder Makulamitte gespeichert werden muß, weiter reduziert werden.
Wenn entsprechend Anspruch 3 das zweidimensionale Scanbewegungsmuster zumindest abschnittsweise mehrfach, insbesondere so lange wiederholt durchfahren wird, bis eindeutige Werte für die Koordinaten der Pupillen- oder Makulamitte vorliegen, werden wenig aussagekräftige Scan- und/oder Projektions-Bewegungen des optischen Systems von vorneherein ausgeschlossen. Die Funktionssicherheit des Systems ebenso wie die Arbeitsgenauigkeit des optischen Systems werden dadurch weiter verbessert, wobei dessen Störanfälligkeit gleichzeitig verringert wird.
Die Weiterbildung des Anspruchs 4 erfüllt diese Sicherheitsfunktion mit einem möglichst geringen Signalverarbeitungsaufwand, wodurch zusätzlich Zeit eingespart wird, die dadurch dem eigentlichen Bildscan zur Verfügung steht.
Wenn entsprechend Anspruch 5 dem Bewegυngsmuster des Scan- Strahlengangs zur Bestimmung der Pupillen- oder Makulamitte ein Startmuster vorgeschaltet wird, das von einem Bezugspunkt am optischen System ausgeht und durch Auswertung der beim Abtasten erfassten Grauwerte in zwei Koordinaten zur Grobbestimmung der Pupillenmitte herangezogen wird, kann das zur Bestimmung der Relativlageveränderung zwischen optischem System und Auge erforderliche Datenvolumen weiter reduziert werden, wodurch gleichzeitig dafür gesorgt wird, dass mehr Zeit und Rechenlcistung für den eigentlichen zyklisch durchzuführenden Bild-Scan- und/oder Projektionsvorgang verbleibt. Dieser Vorteil kommt insbesondere dann zum tragen, wenn - gemäß Anspruch 6 - die bei der Grobbestimmung der Pupillenmitte ermittelten Werte bei der Festlegung des Bewegungsmusters für die anschließende Abtastbewegung zur genauen Bestimmung der Pupillen- oder Makulamitte verwendet werden. Vorteilhafte Varianten für das Bewegungsmuster zur Grobbestimmung der Pupillenmitte und zur Feinbestimmung der Makulamitte und/oder -Struktur sind Gegenstand der Ansprüche 7 und 8 bzw. 9 und 10.
Mit der Weiterbildung des Verfahrens entsprechend Anspruch 11 wird die
Genauigkeit und die Durchführung des "eye-tracking" zusätzlich angehoben bzw. erleichert. Denn dabei ergibt sich der zusätzliche Vorteil, dass das Bild des abgetasteten charakteristischen Bereichs der Retina gleichzeitig zur Identifizierung der das Brillensystem tragenden Person herangezogen werden kann. Dies schafft die Voraussetzung für eine sich selbständig einstellende, trägerspezifische Steuerung und/oder Konfiguration des Systems. Ähnliche Vorteile werden durch die Abtastung anderer Charakteristika des Auges, bespielsweise der Iris.
Vorzugsweise tastet das Scansystem im nicht sichtbaren Lichtbereich, vorzugsweise im Infrarotbereich, ab, wodurch -bei aktiver Ausicuchtung des Auges- eine Beeinflussung des Bildeindrucks für die das Brillensystcm tragende Person ausgeschlossen, und -bei passiver Abtastung- eine Abtastung bei Dämmerung oder Dunkelheit und/oder eine Abtastung wärmestrahlender Strukturen des Auges möglich ist.
Vorteilhafte Ausgestaltungen einer Vorrichtung zur Durchführung des vorstehend beschriebenen Verfahrens sind Gegenstand der Ansprüche 18 bis 26.
Als Strahlengang-Leitanordnung gemäß Anspruch 20 kann jedes Laserlenk- und/oder Spiegelsystem verwendet werden, das in den Anmeldungen DE 196 31 414 AI bzw. der WO98/05992 A2 und DE 197 28 890 oder PCT/EPOO/09840, PCT/EPOO/09841 und PCT/EP00/09843 beschrieben ist. Insoweit wird auf die dortige Offenbarung ausdrücklich Bezug genommen. Die zur Ansteuerung der Spiegelsysteme erforderliche Motorik kann unverändert beibehalten werden. Zudem läßt sich eine Sirahlengang- Leitanordnung aus holographischen, optoelektronischen und/oder oplo-akustischen Elementen verwirklichen.
Die Vorrichtung kann vorteilhaft in einem Informations-Projektionssystem benutzt werden, mit dem vorzugsweise kontinuierlich und lagegenau eine Überspielung von Information auf ausgewählte Bildpunkte der Retina erfolgt. Eine weitere vorteilhafte Anwendung der Vorrichtung ergibt sich bei
Verwendung in einem System zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallendes Bildes mit der momentanen Blickrichtung.
Nachstehend werden anhand schcmalischer Zeichnungen
Ausführungsbeispiele der Erfindung näher erläutert. Es zeigen:
Figur 1 eine schematische Ansicht eines Informationssystems, in dem ein optisches System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation verwendet wird;
Figur 2 eine detaillierte Ansicht eines Auges im Querschnitt;
Figur 3 eine schematische Ansicht einer Ausführungsform des optischen Systems in der Ausführung als interaktives Brillensystem zur Erläuterung der Kinematik zur Steuerung des Abtast- bzw. Projektionsslrahlengangs;
Figur 4 eine schematische Ansicht des menschlichen Auges von vorne durch ein interaktives Brillensyslem gesehen, wobei ein bevorzugtes Bewegungsmuster des Abtaststrahlengangs zur Bestimmung der Pupillenmitte und anhand von Diagrammen die von einem Abtastsensor in etwa erlassten Grauwerle gezeigt sind;
Figur 5 eine etwas vergrößerte Ansicht des Auges in Verbindung mit
Diagrammen zur Veranschaulichung der von Abtaslsensoren in etwa erfassten Grauwerte, wenn das Auge in horizontaler und vertikaler Richtung überstrichen wird;
Figur 5A ein Ablaufdiagramm zur Veranschaulichung der Verfahrensschritte bei der Grobbestimmung der Pupillenmitte gemäß einer ersten Variante;
Figur 6 eine schemalische Ansicht der durch die Pupille sichtbaren Netzhaut, wobei anhand zweier Diagramme die von einem Abtaslsensor erfassten Grauwertc aufgezeigt sind, die beim Abtasten in horizontaler und vertikaler Richtung erfasst werden; Figur 6A in stark vergrößerter Darstellung eine Ansicht der Makula zur Erläuterung einer Variante für die Führung eines Ablaststrahlengangs zur Ermittlung der Makulamitte;
Figur 7 ein Ablaufdiagramm zur Erläuterung der Führung des Ablaststrahlengangs zur Ermittlung der Makulamitte;
Figur 8A und 8B schematische Ansichten des optischen Slrahlcngangs für den Fall, dass sich das Auge in der Normalposition und in einer verdrehten Position befindet, wobei das optische System nachjustiert ist
Figur 9 eine der Figur 6 ähnliche schemalische Ansicht der durch die Pupille sichtbaren Netzhaut, wobei charakteristische Strukturen wie Fovea Centralis, Makula, Blinder Fleck und größere Blutgefäße hervorgehoben sind;
Figur 10 eine schematische Darstellung eines zweidimcnsionalen Speichers mit n x m Feldern, in dem die Topographie der Netzhaut abgelegt ist;
Figur 11 eine der Figur 9 entsprechende Ansicht der Netzhaut mit einem hinterlegten spiralförmigen Bewegungsmuster des Abtaststrahlengangss, wobei das Zentrum des Abtast-Bewegungsmuster nicht mit dem Zentrum der Fovea Centralis zusammenfällt;
Figur 12 das von Abtastsensoren aufgenommene Bild der Netzhautstruktur, wenn eine Abtastung nach Figur 11 vorgenommen worden ist;
Figur 13 eine schematische Ansicht, in der das Bild gemäß Figur 12 durch Drehung und Verschiebung in Deckung mit dem Bild gemäß Figur 9 gebracht ist;
Figur 14 ein Ablaufdiagramm zur Veranschaulichung eines modifizierten Verfahrens zur Einstellung des Systems auf die Makulamitte;
Figur 15 ein Ablaufdiagramm zur Veranschaulichung der zeitlichen Abfolge der Verfahrensschritte für die Grob- und Feinjustierung und für das Kartographieren der Retina; Figur 16 ein Blockschaltbild zur Veranschaulichung der Eingliederung eines "eye-trackers" in ein interaktives Brillensystem;
Figur 17 ein Ablaufdiagramm zur Veranschaulichung der Schritte bei der
Bildabtastung gemäß einer Variante des Verfahrens;
Figur 17A zeigt eine Abwandlung der Vorgehensweise der Figur 17;
Figur 18 eine der Figur 3 entsprechende schematische Ansicht der interaktiven Brille zur Erläuterung des Projektionsvorgangs und des Nachjusticrcn des optischen Systems;
Figur 19A eine interaktive Brille entsprechend einer weiteren Abwandlung mit integriertr Signalerfassungs- und Projektionsvorrichtung;
Figur 19B eine Detailansicht der in Figur 19A gezeigten integrierten Signalerfassungs- und Projektionsvorrichtung;
Figur 20A eine interaktive Brille entsprechend einer weiteren Abwandlung mit integrierter Signalerfassungs- und Projektionsvorrichtung;
Figur 20B eine Detailansicht der in Figur 20A gezeigten integrierten Signalerfassungs- und Projektionsvorrichtung;
Figur 21A eine interaktive Brille entsprechend einer weiteren Abwandlung mit integrierter Signalerfassungs- und Projektionsvorrichtung;
Figur 21B eine Detailansicht der in Figur 21A gezeigten integrierten Signalerfassungs- und Projektionsvorrichtung;
Figur 22 eine interaktive Brille gemäß einem weiteren Ausführungsbeispiel;
Figur 23 eine interaktive Brille gemäß einem weiteren Ausführungsbeispiel; Figur 24 A und Figur 24B eine Draufsicht und eine Frontansicht einener weiteren Ausführungsform der interaktiven Brille in der die erfindungsgemäße Nachstelleinrichtung des optischen Systems anwendbar ist; und
Figur 25 eine schematische Ansicht eines weiteren Ausführungsbeispiels eines optischen Systems, das mit der erfindungsgemäßen Nachstelleinrichtung kombinierbar ist.
In der Beschreibung der Figuren werden ähnliche oder identische Gegenstände mit ähnlich oder gleich endenden Bezugsziffern bezeichnet. Viele der abgebildeten Gegenstände weisen symmetrische oder komplementäre Komponenten auf, die durch einen Zusatzbuchstaben, beispielsweise "L" für links und "R" für rechts, nach dem Bezugsziffer unterschieden werden. Betrifft die Aussage jede einzelne Komponente einer solchen symmetrischen oder komplementären Gruppierung, wird auf den Zusatzbuchstaben in manchen Fällen der Übersichtlichkeit halber verzichtet.
Figur 1
Figur 1 zeigt schematisch den Aufbau eines optischen Systems, insbesondere eines Informationssystems 100, das mit einer erfindungsgemäßen Vorrichtung zur Anpassung des optischen Systems an die Blickrichtung des menschlichen Auges ausgestattet ist. Das Informationsystem 100 ist in Form eines interaktiven Brillensystems 120 bzw. einer interaktiven Brille 120 ausgeführt, die zwei optische Vorrichtungen 150 umfaßt. Bevorzugt befinden sich die optischen Vorrichtungen 150 jeweilig auf einer Innenseite eines linken 121L oder rechten 121 R Bügelteils der Brille 120. Je nach Anwendungsbereich sind auch andere, die Sicht nicht störende Anordnungen der optischen Vorrichtungen, z.B. im Bereich eines über die Nasenwurzel eines Benutzers verlaufenden Nasenstegs 122 der Brille 120, sinnvoll.
Die optische Vorrichtung 150 der Brille 120 ist über Verbindungsleitungcn 101 an eine Prozessoreinheit 140 angeschlossen. Sind Photodetcktoren und/oder Lichtquellen von den optischen Vorrichtungen umfaßt, dienen die Verbindungsleitungen zur Übertragung von elektrischen Detektor- bzw. Steuersignale. Die Photodetektoren bzw. Lichtquellen können jedoch in der Prozessoreinheit 140 angeordnet und über lichtleitendc Verbindungsleitungen 101 an die optischen Vorrichtungen 150 der Brille 120 angeschlossen werden. Dies trägt zur Gewichtsreduklion der Brille 120 bei.
Figur 2
Figur 2 zeigt zwecks Verständnis der Erfindung eine detaillierte Ansicht eines Auges 280 im Querschnitt. Das Auge 280, das in einer aus Schädclknochcn gebildeten Augenhöhle 20 (lat. Orbita) im Kopf eines Menschen untergebracht und hier im Sinne eines Augapfels 280 zu verstehen ist, besteht aus einer von einer lichtdurchlässigen Hornhaut 283 (lat. Kornea) und einer sichtlich weißen Lederhaut 28 (lat. Sklera) umgebenen Kammer. Die Lederhaut 28 ist auf seiner dem Inneren des Auges 280 zugewandten Seite von einer Aderhaut 287 (lat. Choroidea) überzogen, die auf seiner ebenfalls inneren Seite eine lichtempfindliche Netzhaut 281 (lat. Retina) trägt und diese mit Blut versorgt. Durch ihre Pigmentierung verhindert die Aderhaut 287 eine Sleuung des darauffallenden Lichts, die das Sehvermögen stören könnte.
Das Gewebe der Netzhaut 281 umfaßt zwei Arten von Photorezcptorzellcn, nämlich Stäbchen und Zapfen (beide nicht dargestellt), die dem Menschen den Sehsinn ermöglichen. Diese Photorezeptorzellen absorbieren das durch eine Augenlinse 282 gebündelte Licht in einem Wellenlängenbereich von ca. 380-760 nm und verwandeln es durch eine Reihe von chemischen Reaktionen in elektrische Nervensignale. Die Signale der verschiedenen Nervenzellen der Netzhaut 281 werden dann über einen Sehnerv 25 an das Gehirn weitergelcilet und dort zu einem wahrnehmbaren Bild verarbeitet. Die zahlreichen, ca. 120 Millionen zählenden und stark lichtempfindlichen Stäbchen sind auf die Signalaufnahme im Dämmerlicht (sogenanntes skotopisches Sehen) spezialisiert und liefern ein Graustufenbild. Die ca. 6,5 Millionen, vergleichsweise weniger lichtempfindlichen Zapfen dagegen sind für das Farbsehen bei Tageslicht (sogenanntes photopisches Sehen) zuständig. Bei der Lichtabsorbtion findet eine Oxidierung von Pigmenten in den Photorezeptorcnzellen statt. Zur Regenerierung der Pigmente bedarf es bei den Zapfen ca. 6 Minuten und bei den Stäbchen ca. 30 Minuten. Eine Betrachlungsdauer von ca. 200 msec ist notwendig, bis der Sehreiz über die Pholorezeptoren einsetzt und eine Informationsaufnahme über die Netzhaut 281 erfolgt. Die Netzhaut 281 weist eine Verliefung 286 auf, die durch ihre im Vergleich zur übrigen Netzhaut höher Dichte an Zapfen als etwas stärker pigmentiert erscheint. Diese Vertiefung 286, die üblicherweise Sehgrube 286 (Fovea centralis) genannt wird, liegt in einem als "gelber Fleck" (lat. Makula) bekannten Bereich der Netzhaut und stellt den Bereich des schärfsten Sehens dar. Die Fovea centralis 286 ist nur mit Zapfen besetzt, weist eine sehr hohe Zapfendichte auf und beansprucht lediglich ca. 0,01% der Netzhautoberfläche. An der mit dem Bezugszeichen 288 gekennzeichneten Stelle vis-a-vis der Linse 282 tritt das Sehnerv 25 durch eine siebartige Öffnung in der Ledcrhaul 28 in das Innere des Auges ein. Diese Stelle 288 weist keine Photorezeptorzellen auf, weshalb sie als "blinder Fleck" bezeichnet wird.
Die von der Hornhaut 283 und der Lederhaut 28 gebildeten Kammer ist durch eine verformbare Linse 282 und einen muskelösen Strahlenkörper 23 (auch Ziliarkörper genannt), der die Linse 282 trägt, unterteilt. Der zwischen der Linse 282 und der Netzhaut 281 liegende Teil der Kammer, der ca. 2/3 des Augapfels ausmacht, bildet einen sogenannten Glaskörper 21, ein gallertiges Gebilde, das zu über 98% aus Wasser besteht und die Netzhaut 281 stützt und schützt. Der als Vorderkammer 22 bezeichnete, zwischen der Hornhaut 283 und der Linse 282 liegende Teil der Kammer enthält eine Flüssigkeit, die die Hornhaut 283 ernährt. In ihrer Urform bricht die Linse 282 das auf das Auge fallende Licht typischerweise derart, daß das ferne Gesichtsfeld auf die Netzhaut 281 scharf abgebildet wird. Durch Anspannung/Entspannung der Muskeln des Ziliarkörper 23 kann die Form und somit auch die Brechungscharakteristik der Linse 282 über einen breiten Bereich verändert werden, um beispielsweise eine scharfe Abbildung nahliegender Gegenstände des Gesichtsfelds auf die Netzhaut 281 zu ermöglichen. Dieser Vorgang läuft in den meisten Fällen für den betroffenen Menschen unbewußt ab .
Unmittelbar vor der Linse 282 befindet sich in der Vorderkammer 22 eine aus gefärbtem Gewebe bestehende Blende 285 veränderbaren Durchmessers, die den Lichteinfall auf die lichtempfindlichen Teile des Auges 280 reguliert und dem Auge 280 seine charakteristische Färbung verleiht. Diese Blende 285 wird deshalb als Regenbogenhaut 285 (lat. Iris) bezeichnet. Aufgrund der geringen Lichtrückstrahlung der Linse 282, des Glaskörpers 21 und der Netzhaut 281 erscheint der zentrale Bereich der Iris 285 schwarz und wird Pupille 284 bezeichnet. Auch die Regulierung der Pupillengröße läuft für den Menschen unbewußt ab.
Das Auge 280 ist über sechs teils parallel, teils schräg zueinander verlaufende Muskeln 24 an die Schädel verbunden, die ein Schwenken des Auges 280 und folglich eine Änderung der Blickrichtung ermöglichen. Das binokular, ohne Bewegung der Augen 280 erfaßte Gesichtsfeld umfaßt horizontal ca. 170° und vertikal ca. 110° . Werden die Augen 280 bewegt, kann ein binokulares Blickfeld von horizontal ca. 290° und vertikal ca. 190° erfaßt werden. Der von der Fovea centralis 286 erfaßten Bereich des schärften Sehens umfaßt lediglich ca. 1° . Eine fiktive Achse durch die Mitte dieses Bereichs wird als Sehachse bezeichnet und entspricht der Blickrichtung. Auch eine Rotation des Auges um die Sehachse wird durch die Muskeln 24 ermöglicht.
Die sechs Muskeln 24 sind für sämtliche Augenbewegungen zuständig. Bei einer Betrachtung eines Fixpunkts finden sogenannte Mikrolremors des Auges 280 statt, bei denen das Augen 280 leicht zittert, um eine vorübergehende Erschöpfung der chemischen Reaktionfähigkeit der betroffenen PhotorczeptorzcHen beim gleichbleibenden Reiz zu vermeiden. Während eines Blickrichtungswcchscls oder einer Kopibewegung finden sogenannte Sakkadenbewcgungen statt, mit deren Hilfe die Fovea centralis 286 auf ihr neues Fixationsziel gerichtet bzw. auf ihr bisheriges Fixationsziel gehalten wird. Bei dieser sehr komplex ablaufenden Bewegung wird das Auge 280 unwillentlich mit einer kleinen Amplitude von bis zu mehreren zehn Grad und einer extrem schnellen Winkelgeschwindigkeit von bis zu mehreren hundert Grad pro Sekunde hin und her bewegt. Bei der Verfolgung eines sich bewegenden Objekts erreicht das Auge 280 Winkelgeschwindigkeiten von lediglich eins bis zwei hundert Grad pro Sekunden.
Zum Schutz des Augapfels 280 hat der Mensch bewegliche Hautfalten, nämlich ein Oberlid 27a und ein Unterlid 27b, die ein Schließen der Augenhöhle 20 gegen äußere Einflüsse ermöglicht. Die Lider 27a und 27b schließen sich reflektorisch bei einfallenden Fremdkörpern und starker Blendung. Darüber hinaus sorgen die Lider 27a und 27b durch regelmäßigen, meist unwillkürlichen Lidschlag für einen gleichmäßig auf der Hornhaut 283 verteilten Tränenfilm, der die äußere Oberfläche der Hornhaut 283 vor einem Austrocknen wahrt und wäscht. Die Lider 27a und 27b weisen auch Wimpern 27c auf, die das Auge 280 ebenfalls vor Staub schützen. Eine Bindehaut 26 kleidet den Raum zwischen den Lidern 27a bzw. 27b, der Aughöhle 20 und dem Augapfel 280 aus. Die Bindehaut 26 gehl einerseits in die Lidinnenseite über, andererseits in die Hornhaut 283, und stellt einen zweiten Schulzwall gegen das Eindringen von Keimen und Fremdkörpern dar.
Figur 3 und 18
Figur 3 zeigt eine Ausführungsform des wie oben beschriebenen, interaktiven Brillensystems bzw. Brille 320, bei der eine Signalerfassungsvorrichlung in Form einer scannenden Augenabtastvorrichtung 350D vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 302 samt Brille 320 mit rechtem Bügelteil 321R dar, während die rechte Bildhälfte ein durch den linken Bügelteil 321L verlaufenden Querschnitt der Brille 320 wiedergibt. Außer der zur interaktiven Brille 320 gehörenden Vorrichtungen sind in der Figur 3 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.
Gemäß der abgebildeten Ausführungsform werden auf das Auge 380 fallende Lichtstrahlen 333a und 333b, die beispielsweise aus dem Gesichtsfeld stammen, von der Linse 382 auf der Netzhaut 381 als zusammenhängendes Bild scharf abgebildet und von ihr als Netzhautreflexbild zurückreflektierl. Ein so zurückreflektierter Lichtstrahl 331 passiert in ungekehrler Richtung erneut die Linse 382, wird über zwei, zum Spiegelsystem der Brille 320 gehörende konkave Spiegel 322 und 323 fokussiert und wie abgebildet auf eine scannende Augenabtastvorrichtung 350D gelenkt. Die Augenabtastvorrichtung 350D umfaßt eine Signalerfassungsvorrichtung 351 in Form eines Fotodetektors 351, der den von der Netzhaut 381 zurückreflektierten Lichtstrahl 331 erfaßt, sowie zwei bewegliche Flachspiegel 352H und 352V, die eine horizontale bzw. vertikale Ablenkung des Lichtstrahls 331 auf den Fotodetektor 351 bewirken. Somit bilden die konkaven Spiegel 322 und 323 zusammen mit den zwei beweglichen Flachspiegel 352H und 352V die Strahlengang-Leitanordnung des Scansystems, hier der Augenabtastvorrichtung 350D. Gemäß der Ausführung der Figur 3 umfaßt die Brille 320 zusätzlich eine Lichlfalle 324, die einen Lichteinfall aus unerwünschten Einfallsrichtungen verhindert. Zur Vereinfachung des Spiegelsystem der Brille 320 kann der Spiegel 323 durch eine verspiegelte Innenoberflache des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Erfassung des gesamten Netzhautreflexbildes auch bei einer eventuellen verdrehten Stellung des Auges 380 zu ermöglichen.
Durch die Kombination eines punktförmigen Detektors 351 mit entsprechender Steuerung der Flachspiegel 352H und 352V erfolgt eine serielle punktuelle Abtastung des Netzhautreflexbildes als Bildpunktfolge. Bevorzugt wird die Netzhaut 381, wie in der DE 196 31 414 AI und der DE 197 28 890 beschrieben, mit einem kreis-, spiral- oder ellipsenförmigen Scanmuster abgetastet. Dies hat den Vorteil, daß die Flachspiegel 352 ohne rückartigen Bewegungen angetrieben werden können, und daß eine höhere Bildpunkldichte (Anzahl der Bildpunkte pro Flächeneinheit der Netzhaut) im Bereich der Fovea centralis 286 sich erfassen läßt.
Figur 18 zeigt eine Ausführungsform der wie oben beschriebenen, interaktiven Brille 1820, bei der eine Ausgabevorrichtung in Form einer scannenden Projektionsvorrichtung 1850P vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 1802 samt Brille 1820 mit rechtem Bügelteil 1821R dar, während die rechte Bildhälftc ein durch den linken Bügelteil 1821L verlaufenden Querschnitt der Brille 1820 wiedergibt. Außer der zur interaktiven Brille 1820 gehörenden Vorrichtungen sind in der Figur 18 keine weiteren Komponenten der erlϊndungsgemäßen Informationssystem 100 abgebildet.
Gemäß der abgebildeten Ausführungsform umfaßt die scannende Projektionsvorrichtung 1850P eine einen Projektionslichtstrahl 1832 emittierende Lichtquelle 1853, beispielsweise eine Laserdiode oder eine über ein Linsensystem fokusierte LED, sowie zwei bewegliche Flachspiegel 185H und 1854V. Der Projektionslichtstrahl 1832 wird über die beweglichen Flachspiegel 1854H und 1854V auf ein Spiegelsystem der Brille 1820 gelenkt, das zwei konkave Spiegel 1822 und 1823 umfaßt, die den Projektionslichtstrahl 1832 auf die Linse 1882 eines Auges 1880 und schließlich auf die Netzhaut 1881 wirft. Zur Vereinfachung des Spiegelsystem der Brille 1820 kann der Spiegel 1823 durch eine verspiegelte Innenoberflache des Brillenglases verwirldicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Projektion auf alle Bereiche der Netzhaut 1881 auch bei einer eventuellen verdrehten Stellung des Auges 1880 zu ermöglichen. Zur Vermeidung störender Lichteinfälle läßt sich die Brille 1820 mit einer Lichtfalle 1824 ausstatten, die Lichteinfälle aus unerwünschten Einfallsrichtungen verhindert.
Durch die Kombination einer punktförmigen Lichtquelle 1853 mit entsprechender Steuerung der Flachspiegel 1852H und 1852V, die jeweils eine horizontale bzw. vertikale Ablenkung des Projektionslichtstrahls 1832 bewirken, erfolgt eine serielle punktuelle Projektion eines Bildes. Bevorzugt erfolgt die Projektion, wie in der DE 196 31 414 AI und der DE 197 28 890 beschrieben, mit einem kreis-, spiral- oder ellipsenförmigen Scanmustcr. Dies hat den Vorteil, daß die Flachspiegel 1852 ohne rückartigen Bewegungen angetrieben werden können, und daß sich eine höhere Bildpunktdichte im Bereich der Fovea centralis 286 auf die Netzhaut 1881 projizieren läßt.
Damit es gelingt, den Scan- und/oder Projektionsvorgang augenzentrierl durchzuführen, wird das optische System mit einer Vorrichtung ausgestaltet bzw. kombiniert, die in der Lage ist, möglichst zeilnah jede Veränderung der Relativlage zwischen dem optischen System und dem optischen System des Auges zu erfassen und - soweit erforderlich - das optische System an die veränderte Blickrichtung anzupassen, d.h. eine sogenannte "eye-tracker"-Funktion zu erfüllen. Im folgenden wird beschrieben, mit welchen Verfahrens- und vorrichtungstechnischen Mitteln diese Funktion wahrgenommen wird:
Wie oben bereits angesprochen, erfolgt die Abtastung und ggf. die Projektion von optischer Information derart, dass der optische Sirahlengang mit relativ hoher Frequenz (beispielsweise 100 Hz) eine sich im optischen Weg zur Retina befindliche Fläche auf einem vorbestimmten Bewegungsmusler überstreicht. Um diesen Abtastvorgang so zu steuern, dass die Bewegungen des Auges Berücksichtigung finden können, wird bedarfsgerecht und im Takt des Abtasl- und/oder Projektions-Bewegungsmuslers diesem ein Bewegungsmuster vorangestellt, mit dem die Position des optischen Systems des Auges und/oder dessen Zustand - geschlossenene oder offenes Augenlid, etc. - erfasst werden kann. Anhand der folgenden Figuren wird erläutert, wie die hierfür erforderlichen Informationen gewonnen werden.
Figur 4 Figur 4 zeigt die Frontansicht eines menschlichen Auges 480 , das hinter einem Brillengestell 420A liegt. Mit dem Bezugszeichen 485 ist die Iris und mit 428 die Lederhaut bezeichnet. Der zentrale Bereich der Iris 485, d.h. die Pupille trägt das Bezugszeichen 484.
Am Brillengestell 420A ist beispielsweise eine Markierung MS angebracht, die als Referenz- und Ausgangspunkt für die Grob-Bestimmung der Relativlage zwischen dem Brillensystem und den beiden Augen, und damit zur groben Ermittlung der Relaiivlage zwischen dem Zentrum der Pupille 484 und Brillensystem 420, dient. Mit dicker ausgezogener Linie BM ist ein Bewegungsmuster angedeutet, welches ein Abtaststrahl des am Brillensystem angebrachten - nicht näher dargestellten - optischen Systems während einer Startphase beschreibt, wobei geeignete Fotodetekloren laufend Grauwerte erfassen, die in den angedeuteten Diagrammen zwischen den Werten W (für WEISS) und S (für SCHWARZ) liegen. Selbstverständlich könnten Farbwerte aus dem sichtbaren oder Infrarotbereich anstatt oder neben den Grauwerlen ebenfalls erfaßt bzw. ausgewertet werden, wie dies dem Fachmann auf dem Gebiet der Bildverarbeilung und/oder der Mustererkennung geläufig ist.
Während bei einer Projektion Licht aktiv als Projeklionsslrahl über einen durch das Projektionssystem veränderbaren Strahlengang vorzugsweise punktförmig in das Auge hineinprojiziert wird, kann das Scansystem sowohl passiv als auch aktiv arbeiten. Arbeit das Scansystem passiv, so wird das Auge nicht ausgeleuchtet, d.h. es wird lediglich systemfremdes, vom Auges zurückreflektiertes Umgebungslicht vom Scansystem erfaßt. Arbeit das Scansystem aktiv, so wird das Auge vom Scansyslem zusätzlich ausgeleuchtet, d.h. das Scansystem könnte sowohl systemfremdes, vom Auge zurückreflektiertes Umgebungslicht als auch vom Scansystem generierte, vom Auge zurückreflektierte Lichlsignale erfassen. Hierbei kann es sinnvoll sein, das vom Scansystem in das Auge projiziertes Licht bestimmte Eigenschaften, beispielsweise eine bestimmte Wellenlänge, Wellenform, o.a. , aufzuerlegen, um eine Trennung des erfaßten Umgebungslichtes von den erfaßten, vom Scansystem generierten und vom Auge zurückreflektierten Lichtsignale zu ermöglichen. Bei beiden Betriebsarten des Scansystems wird Licht, das von einem durch die Strahlengang-Leitanordnung des Scansystems bestimmbaren Sirahlengang zuzuordnenden Gebiet des Auges zurückreflektierl wird, entlang den momentan durch die Strahlengang-Leitanordnung des Scansystems bestimmten Strahlengang in eine Detektorvorrichtung gelenkt, wo es dann erfaßt wird.
Erfindungsgemäß durchführt das Scan- bzw. Projektionssystem, insbesondere die Slrahlengang-Leitanordnung des Scan- bzw. Projektionssystems, eine Scanbzw. Projektionsbewegung während des Scan- und/oder Projektionsvorgangs aus, die den Strahlengang des Scan- bzw. Projektionsstrahls zeitlich ändert. Gemäß der Scan- bzw. Projektionsbewegung beschreibt der Ausgangs- bzw. Endpunkt des Strahlengangs des vom Auge zurückreflektierten, vom Scansystem erfaßten Lichtes bzw. des vom Projektionssystem in das Auge projizierten Lichtes somit ein quasi zweidimensionales Bewegungsmuster, auch Scan- bzw. Projektionsmuster genannt, im Auge.
Das abgebildete, exemplarische Bewegungsmustcr ist quasi zweidimensional, und die beim Abtastvorgang erfassten Grauwerte werden vorzugsweise in zwei Koordinaten anhand von Signalprofilen SPV und SPH ausgewertet, wobei im wesentlichen drei lineare Bewegungsmuster abschnitte BMI, BM2 und BM3 herangezogen werden, die durch Bogenabschnilte miteinander zu einer flüssigen Bewegungskurve verbunden sind. Der Abschnitt BMI geht vom Startpunkt MS aus und verläuft horizontal in Figur 4 nach links. Solange beim Abtasten der Punkt Pl , d.h. der Übergang zur Augenöffnung nicht erreicht ist, bleibt der erfasste Graustufenwert in einem mittleren Bereich. Beim Treffen auf die Lederhaut 428 am Punkt Pl springt der Wert auf das Signal W und verbleibt auf diesem Wert so lange, bis der Strahlengang der Abtastbewegung den Punkt P2, d.h. den Übergang zur Iris 485 erreicht. Da die Iris in der Regel wesentlich dunkler ist als die weisse Lederhaut, fällt der Signalpegel am Punkt P2 deutlich ab und bleibt, wenn die Pupille nicht überstrichen wird, bis zum Punkt P3, d.h. bis zum Erreichen des Übergangs Iris/Lederhaut auf diesem Niveau.
Aufgrund des Signalprofils erkennt eine geeignet programmierte Signalauswerteeinrichtung, dass die Mitte der Iris exakt zwischen den Punkten P2 und P3 liegt und die X- Koordinate XIM hat. Auf diese Koordinate schwenkt anschließend das Bewegungsmuster ein, so dass der Bcwegungsmusterabschnilt BM2 in die Koordinate XIM verlegt wird. Das dabei von den Folodetektoren erfasste Signal ist im Diagramm auf der rechten Seite der Figur 4 wiedergegeben, Am Punkt P4, d.h. aum Übergang zur Iris 485 springt das Signal auf einen charakteristischen, im wesentlichen konstanten Wert, der dem Signalpegel zwischen den Punkten P2 und P3 entspricht, so dass das System die Koordinaten des oberen Randes der Iris erkennt. Beim Durchlaufen des Bewegungsmusterabschnitts BM2 wird damit zuverlässig die Pupille 484 getroffen. Sobald der Strahlengang beim Abtasten den Rand der Pupille, d.h. den Punkt P5 erreicht, fällt das Abtastsignal auf einen Wert, der nahezu bei der Grenzlinie S (für SCHWARZ) liegt und damit einen für die Pupille charakteristischen Wert darstellt. Das Graustufensignal bleibt auf diesem Wert, so lange die Pupille 484 vom Abtaststrahlengang überstrichen wird, d.h. bis der Punkt P6 am Rand der Pupille erreicht ist und springt dann hoch. Mit LS ist die Länge der Sekante bezeichnet, die das Bewegungsmuster im Bereich der Pupille 484 erzeugt. Das Bezugszeichen MSS bezeichnet die Mitlelsenkrechte auf dieser Sekante. Diese Miilelsenkrechle bestimmt gleichzeitig die Y-Koordinate YPMG des grob bestimmten Pupillenmitlelpunkts. Diese Koordinate wird in der Prozessoreinheit abgespeichert.
Wie sich aus der Figur 4 ergibt, liegt die X- Koordinate XIM des
Irismittelpunkts bereits sehr nahe bei der X-Koordinate XPMG des Pupillenmittelpunkts. Zur exakten Bestimmung dieser Koordinate dient der dritte Bewegungsmusterabschnitt BM3, der in die Linie MSS verlegt wird. Das dabei aufgenommene Grauwertesignal entspricht im wesentlichen dem Signalverlauf SPV, so dass dieser in der Figur 4 nicht gesondert gezeigt ist. Die Linie, die den beim Überstreichen der Pupille auftretenden und nahe bei der Linie S liegenden Peak mittig unterteilt, bestimmt die X-Koordinate XPM der Pupille, die ebenfalls abgespeichert wird. Damit ist die Grobbestimmung der Pupille bezüglich des Brillensystems abgeschlossen.
Für den Fall, dass - in seltenen Fällen - im Bewegungsmusterabschnitt BM2 die Pupille 484 nicht erfasst werden sollte, zeichnet der Folodetektor ein Signalprolϊl SPV auf, das qualitativ dem Signalprofil SPH entspricht, so dass die Y-Koordinate der Pupille durch diejenige Linie bestimmt ist, die den Grauwerleimpuls beim Überstreichen der Iris mittig unterteilt. In diesem Fall wird der dritte Bewegungsmusterabschnitt BM3 in diese Linie hinein verlegt.
Die Anordnung ist vorzugsweise derart getroffen, dass die Abtastung über die drei Bewegungsmusterabschnitte BMI, BM2 und BM3 nur dann vervollständigt wird, wenn die Fotodetektoren in den einzelnen Bewegungsabschnilten tatsächlich
Signale der in Figur 4 gezeigten Qualität erhalten. Auf diese Weise wird sichergestellt, dass das Scansyslem zur Abtastung des Auges nur dann einen Abtast- und/oder einen Projektionszyklus durchführen kann, wenn eindeutige Werte für die Grobkoordinaten XPM, YPM der Pupille vorliegen. Mit anderen Worten, eine aufwendige Bildsignalverarbeitung wird erst initiiert, wenn das Auge für diesen Vorgang bereit ist. Wenn beispielsweise die Grobbestimmung des Pupillenmittelpunkts zu einem Zeitpunkt begonnen oder durchgeführt wird, in dem ein Augenlidschlag erfolgt, kann sie nicht mit einem eindeutigen Ergebnis abgeschlossen werden. Die Grobbestimmung wird in diesem Fall entweder vollständig oder zumindest für denjenigen Bewegungsmusterabschnitl wiederholt, der durch den Lidschlag gestört wurde. Es ist jedoch an dieser Stelle hervorzuheben, dass unter Zugrundelegung einer Abtastfrequenz von 100 Hz für einen Vollscan des auf das Auge einfallenden Bildes, und unter Berücksichtigung einer üblichen Abtastkonfiguration mit 1024 Scan-Kreisbewegungen, die somit in 10 ms durchgeführt werden, davon ausgegangen werden kann, dass dann, wenn im ersten Bewegungsmusterabschnitt ein aussagekräftiges Signalprofil erhallen wird, der volle Justier- und Abtastzyklus störungsfrei vorgenommen werden kann.
Erfindungsgemäß ist das für die Bestimmung der Pupillen- bzw. Makulamitte heranzuziehendes Bewegungsmuster, wie auch das Scanmuster insgesamt, vorzugsweise derart zu wählen, daß die damit verbundenen Bewegungen der Komponenten des Scansystems, beispielsweise der Strahlengang-Leitanordnung, keine abrupte oder ruckartige Bewegungen umfassen, und somit glatt ausführbar sind. Eine solche Wahl des Bewegungsmuster trägt dazu bei, die Belastungen des Scansyslems zu reduzieren, was eine Erhöhung der Ausführgeschwindigkeit der Scanbewegung ermöglicht.
Nach Abschluss der Grobbestimmung der Koordinaten XPMG, YPMG des Pupillenmittelpunkts kann zusätzlich eine Feinbestimmung erfolgen. Dies wird anhand der Figur 5 näher erläutert:
Figur 5
In Figur 5 ist in vergrößerter Darstellung das Auge dargestellt, wobei mit PM der Mittelpunkt der Pupille 584 bezeichnet ist. Wenn man annimmt, dass eine Abtastung des Auges entlang der durch das Zentrum PM der Pupille verlaufenden
Linien H und V erfolgt, so erfassen die Fotodetektoren Grauwerle, die dem Signalverlauf SPH bzw. SPV entsprechen. Die erkennbare Charakteristik, wonach jeweils am Übergang zwischen Iris und Pupille, d.h. an den Punkten P5, P6 bzw. P7 und P8 ein deutlicher Sprung im erfassten Grauwert auftritt, kann wie folgt zur Feinbestimmung der Koordinaten des Pupillenmittelpuπkts PM genutzt werden:
Wenn nämlich ausgehend von dem zuvor grob bestimmten Pupillenmittelpunkt PMG eine Abtastung der Grauwertc mittels immer größer werdender Kreise Kl, K2, u.s.w. vorgenommen wird, bleibt das Grauwertesignal so lange auf einem nahe der Linie S (für SCHWARZ) liegenden Pegel, bis der Abtast-Strahlengang - wie auf dem Kreis Kn angedeutet - die Pupille 584 an einem Punkt P9 verlässl und nach einer bestimmten Strecke an einem Punkt P10 wieder in die Pupille eintaucht, was durch den Signalsprung erfasst wird. Die Mittelsenkrechte auf der von den Punkten P9 und P10 gebildeten Sekante bestimmt die Richtung, in die das Zentrum der Abtastbewegung verschoben werden muß, um dem wahren Pupillenmittelpunkt PM näher zu kommen. Ausgehend von diesem korrigierten Zentrum wird die kreisförmige Abtastbewegung fortgesetzt, und zwar vorzugsweise in einem radialen Abstand vom korrigierten Zentrum, der dem Radius des letzten Abtastkreises Kn-1 oder vorletzten Abtaslkreises Kn-2 entspricht. Dieser Korrekturvorgang kann mehrere Male wiederholt werden. Wenn das korrigierte Zentrum so verschoben ist, dass der Abiastkreis den Rand der
Pupille nicht mehr schneidet, entsprechen die Koordinaten des korrigierten Zentrums denjenigen des Pupillenmittelpunkts. Ein Nichtschneidcr der Pupillenrand läßt sich beispielsweise daran erkennen, daß die erfaßten Grauwerte über einen zusammenhängenden, mindesten 360° umfassenden Bewcgungsabschnitl in einen für die Iris üblichen Bereich liegen.
Selbstverständlich können anstatt der konzentrischen Kreise auch Kreis- oder Ellipsen-Spirale oder auch konzentrische Ellipsen als Abtastmusler verwendet werden. Elliptische Musler sind vor allem bei einer Verdrehung des Auges und der damit zusammenhängenden "Neigung" der quasi zweidimcnsionalc "Scanflächc" aus der Normalstellung nützlich. Denn durch Heranziehung der Tatsache, daß eine entsprechend gewählte Ellipse auf einer geneigten Fläche wie ein Kreis wirkt, kann die Auswirkung der "Neigung", d.h. der Verdrehung, ausgeglichen werden.
Ebenfalls ist es nicht zwingend notwendig, Grauwerle abzutasten. Stattdessen oder zusätzlich könnten Farbwerte aus dem sichtbaren oder Infrarotbcreich erfaßt und ausgewertet werden, wie dies dem Fachmann auf dem Gebiet der Bildverarbeitung und/oder der Mustererkennung geläufig ist.
Figur 5A
Figur 5A ist ein Ablauf diagramm, das die Verfahrensschritte zur Bestimmung der Pupillenmitte gemäß einem modifizierten Ablauf veranschaulicht. Mit einer waagerechten Scanbewegung wird unter Zuhilfenahme der charakteristischen Signalverläufe SPV und SPH Durchmesser und der Ort der Pupille in der Horizontale ermittelt. Dieser Vorgang wird so oft wiederholt, bis eindeutige Werte für die Punkte, an denen ein Kontrastübergang zwischen Pupille und Iris auftritt, vorliegen. Auf diese Weise wird sichergestellt, dass in dieser Phase das Auftreten von Störungen, wie z.B. ein durch Lidschlag geschlossenes Auge erkannt wird. Diese Daten werden gespeichert.
Mit einer senkrechten Scanbewegung wird analog zum vorstehend beschriebenen Algorithmus Durchmesser und der Ort der Pupille in der Senkrechte bestimmt, und zwar wiederum durch Erfassung der Kontraslübergänge zwischen Iris und Pupille. Wenn eindeutige Werte vorliegen, werden diese auch gespeichert.
Um die Abtastung so exakt wie möglich mit der Blickrichtung zu korrelieren, ist es zusätzlich erforderlich, die optische Achse zu bestimmen, d.h. beispielsweise die Mitte der Makula bzw. der Fovea Centralis zu orten. Dieser Vorgang soll anhand der Figuren 6 und 6A näher erläutert werden:
Figur 6
In dieser Figur ist in vergrößerter Darstellung eine schematische Ansicht der durch die Pupille sichtbaren Netzhaut gezeigt, wobei mit 686 die Fovea Centralis bezeichnet ist, die innerhalb der mit 686A bezeichneten Makula liegt. Mit 687A sind ausgewählte, in der Aderhaut liegende Blutgefäße bezeichnet und mit 688 der sogenannte "blinde Fleck".
Um die Sehachse und damit die Blickrichtung bestimmen zu können, ist es erforderlich, die Lage der Fovea Centralis 686 zu kennen. Auch zur Gewinning dieser Information kann erneut der Umstand herangezogen werden, dass verschiedene Bereiche der Netzhaut ein charakteristisches, unterschiedliches physikalisches Verhalten, beispielsweise Reflexionsverhaltcn haben. Wie in den Diagrammen in Figur 6 schematisch angedeutet, erfassen geeignete Fotodetektoren beim Abtasten der Retina entlang der Achsen V und H Grauwertsignale SPV und SPH, die als Charakteristikum einen deutlichen Signalsprung am Übergang zur und aus der Fovea Centralis 686 aufweisen. Dieser Signalsprung kann - wie bereits im Zusammenhang mit der Figur 4 beschrieben - zur Feinbestimmung der Makulamitte MM genutzt werden, indem die Lage - zwischen den Punkten P9 und P10 bzw. zwischen Pll und P12 - und/oder die Breite BV bzw. BH des charakteristischen Signalsprungs ver- und ausgewertet wird.
Figur 6A
Eine Variante der Feinbestimmung der Makulamitte wird anhand der Figur 6A erläutert. Dabei sei angenommen, dass ein zur Feinbestimmung des Makulamittelpunkts MM dienendes Abtastmuster für den Strahlcngang von dem zuvor als Pupillenmittclpunkt bestimmten Punkt PM (vgl. Figur 5) ausgeht, wobei als Abtastmuster konzentrische Kreise AK1, AK2, ... , AKN dienen. Solange sich die Kreise AK1 bis AK4 vollständig innerhalb der Fovea Centralis 686 befinden, ändert sich das erfasste Grauwertesignal im wesentlichen nicht, und der Durchmesser der Abtastkreise kann sukzessive vergrößert werden. Mit AK5 ist derjenige Kreis bezeichnet, auf dem das Abtastsignal erstmalig den in Figur 6 gezeigten Signalsprung erfasst, nämlich, wenn der Punkt P13 erreicht wird. Wenn die Abtastbewegung fortgesetzt wird, tritt der Abtast-Strahlengang am Punkt P14 erneut in den Bereich der Fovea Centralis 686 ein, wobei wiederum ein Signalsprung erfasst wird. Ein mit MS bezeichnete Mittelsenkrcchte auf der Sekante SEK durch die Punkte P13 und P14 bestimmt die Richtung, in die der Mittelpunkt der Abtastbewegung verlegt werden muss, um dem tatsächlichen Mittelpunkt MM der Fovea Centralis näher zu kommen. Dementsprechend wird im nächsten Schritt der Mittelpunkt der Abtastbewegung ausgehend von PM um die Koordinaten KY und KX zum Punkt P15 verschoben. Die Abtastung wird fortgesetzt, wobei der Radius des zur Fortsetzung der Abtastbcwegung gewählten Kreises und die graduelle Zunahme DR des Kreisdurchmessers vorzugsweise empirisch bestimmt wird. Der neue Mittelpunkt P15 der Abtastkreise wird somit iterativ immer näher an den wahren Mittelpunkt MM verlegt. Vorzugsweise wird, je näher sich der Punkt P15 dem wahren Mittelpunkt nähert, der inkrementale Wert DR immer kleiner gewählt. Erreicht der Wert DR einen voreingestellten Minimalwert, wird die Feinbestimmung der Makulamitte MM abgebrochen und der zuletzt gespeicherte Wert des Punktes P15 als Makulamittelpunkt festgelegt.
Alternativ kann der erfolgreiche Abbruch der Bestimmung des
Makulamittelpunkts MM auch dann vorgenommen werden, wenn bei der Abtastbewegung in einer zusammenhängenden Bewegung über zumindest 360° eine Vielzahl von Signalsprüngen gemäß Darstellung in Figur 6 auftreten. Ebenfalls wäre es denkbar, den Fein-Bestimmungsvorgang des Mittelpunkts MM abzubrechen, wenn sich ab einem vorgegebenen kleinen Inkrement DR bei Bewegung des Strahlengangs im Bereich der Makularands 686B die bei einer vollen Umdrehung (360°) erfassten aufsummierten Grauwerte bei Verkleinerung und Vergrößerung des Radius um das Inkrement DR nicht mehr über einen vorgegebenen Schwellwert hinaus verändert haben.
Man erkennt aus der vorstehenden Beschreibung, dass nur ein verhältnismäßig kleiner Abtastweg, d.h. nur wenige Kreis- oder Spiralumdrehungen erforderlich sind, um den Makulamittelpunkt MM hinreichend genau zu bestimmen. Dies erlaubt es, jedem Bewegungsmuster für die Abtastung und/oder Projektion einen Justierschrilt voranzustellen, ohne die Qualität der Bildabtastung oder -projektion spürbar zu verändern.
Selbstverständlich ist es möglich, das Verfahren zur Bestimmung des Makulamittelpunkts MM zu modifizieren und dennoch in kurzer Zeit schnell aussagekräftige Werte für die Koordinaten des Makulamittelpunkts MM zu erhalten.
Figur 7
Figur 7 zeigt ein Ablauf diagramm, in dem allgemein eine derartige Variante beschrieben ist:
Unter der, Voraussetzung, dass auf eine zuvor gespeicherte "Landkarte" der
Makula zurückgegriffen werden kann, wird ausgehend vom Pupillenmittelpunkt PM, der vorläufig als möglicher Makulamittelpunkt angenommen wird, zunächst im Schritt Sl ein Spiralscan mit wachsendem Radius durchgeführt. Wenn im Schritt S2 ein Vergleich des Abtastsignals mit den gespeicherten Werten eine Erkennung eines ersten Koordinatenpaares erlaubt, wird im Schritt S3 und S4 überprüft, ob dieses Koordinatenpaar aussagekräftig ist. Wenn nicht, erfolgt im Schritt S 10 eine Nachjustierung in eine Richtung, die nach dem Ergebnis einer durch einen geeigneten Algorithmus bestimmten Auswertung als die erfolgversprechendste bestimmt wird.
Andernfalls wird erneut im Schritt S5 ein Spiralscan durchgeführt, mit dem die Koordinaten eines weiteren charakteristischen Punktes der Makula bestimmt werden. Dieser Punkt soll vorzugsweise auf einem anderen Scanradius und/oder in einem anderen Bereich des Umfangs der Makula liegen. Wenn im Schritt S6 und S7 ein Vergleich des Abiastsignals mit den gespeicherten Werten eine Erkennung des zweiten Koordinatenpaares erlaubt, wird im Schritt S8 überprüft, ob dieses Koordinatenpaar aussagekräftig ist. Wenn nicht, erfolgt erneut im Schritt Sll eine Nachjuslierung in eine Richtung, die nach dem Ergebnis einer durch einen geeigneten Algorithmus bestimmten Auswertung als die erfolgversprechendste bestimmt wird. Der neue Spiralscan kann beginnend mit dem ersten Koodinatenpaar im Schritt Sl erneut durchgeführt werden. Alternativ läuft das Scanprogramm zum Schritt S5, so dass lediglich der Suchlauf bezüglich des zweiten charakteristischen Punkts erfolgt.
Wenn die Werte als aussagekräftig eingestuft worden sind, werden die
Geometriedaten der Makula und damit der Makulamitte abgespeichert.
Vorzugsweise werden die Koordinaten von zumindest drei charakteristischen Punkten der Makula abgegriffen und mit abgspeicherten Werten verglichen, wobei die Punkte in unterschiedlichen Bereichen der Randstruktur der Makula liegen.
Anschließend läuft das Programm zum Schritt S12, in dem die Koordinaten zumindest eines weiteren charakteristischen Bereichs der Retina, beispielsweise des "blinden Flecks" erfasst werden, um die inzwischen erfolgte Augenbewegung zu bestimmen. Der hierfür erforderliche Abtastvorgang ist im wesentlichen mit dem Ablauf gemäß Figur 7 vergleichbar, so dass auf eine eingehende Beschreibung dieses Verfahrens verzichtet werden kann.
Um die charakteristischen Bereiche eindeutig erkennen und damit deren
Koordinaten bestimmen zu können, könnte ein Verfahren zur Anwendung kommen, bei dem Abtastsignale, die beim Überstreichen ausgewählter Bereiche auf vorbestimmten Bewegungsbahnen (konzentrische Kreise mit vorbestimmtem Zeilensprung um den Makulamittelpunkt) relativ zum Makulamittelpunkt erfasst werden, in einem Speicher beispielsweise als Daten- oder Koordinatensequenz, abgelegt werden. Bei verdrehtem Auge tritt diese Datensequenz in einer anderen Drehlage zum Makulamittelpunkt auf, so dass aus dieser Drehlage- Abweichung unmittelbar auf die Verdrehung des Auges geschlossen und eine entsprechende Nachstellung des optischen Systems vorgenommen werden kann.
Wenn die Koordinaten der Makulamitte MM und diejenigen des zumindest einen weiteren charakteristischen Bereichs, wie z.B. des "blinden Flecks" mit den abgespeicherten Werten verglichen werden, kann eine eindeutige Aussage bezüglich der Lageveränderung des Auges, d.h. Verschiebung des Makulamittelpunkts und ggf. Verdrehung der Retina, getroffen werden. Das Bewegungsmuster des Strahlengangs für den Abtast- und/oder Projektionsvorgang wird dann in den neuen ermittelten Makulamittelpunkt verlegt, wobei die Koordinatenachsen an die Augen-Drehlage angepasst werden.
Im folgenden wird beschrieben, wie diese Anpassung im einzelnen vorgenommen wird:
Figur 8
Figur 8A zeigt schematisch den Abtast-Strahlengang für den exemplarischen Fall, dass mit einem interaktiven Brillensystem, welches im Vergleich zur Ausführungsform nach Figur 3 oder Figur 18 dahingehend modifiziert ist, dass anstelle eines Taumelspiegclpaares ein einziger Abtast-Taumclspiegel 854 und ein einziger - nicht gezeigter - Projektions-Taumelspiegel verwendet wird, eine Abtastung in der Normalslellung des Auges, d.h. in der nicht verdrehten Position des Auges 880 durchgeführt wird. Zur Vereinfachung der Darstellung ist lediglich der Strahlengang in einer Ebene dargestellt. Tatsächlich führt der Taumelspiegel jedoch eine räumliche Bewegung um ein Schwenkzenlrum 854A aus.
Die auf der Innenseite eines Brillenglases 823A vorgesehene und für von in Richtung eines optischen Systems, nämlich eines Ablastsystcms 851 , einfallende
Strahlen refeklierende Oberfläche ist mit dem Bezugszeichen 823 bezeichnet. Die Anordnung ist so getroffen, dass das Brillenglas 823A, die Position des Taumelspiegels 854, insbesondere dessen Schwenkzentrum 854A und der Abtaststrahl 851A bezüglich des Mittelpunkts des Augapfels in unveränderter Position verbleiben.
Durch die Bezugszeichen RO und RU sind die Positionen des Taumelspiegels 854 in den Grenz- bzw. Umkehrlagen angedeutet, in denen ein oberer Randstrahl BRO und ein unterer Randstrahl BRU des Blickfelds mit den Seh-Randstrahlen SRO und SRU in den Abtaststrahl 851A abgebildet werden. Die zugehörigen Centerstrahlen sind mit SC bzw. BC bezeichnet. Alle Sehstrahlen in dem von den Randslrahlen abgegrenzten Blickfeld gehen durch die optische Mitte der Linse 882. Der Centerstrahl SC trifft genau auf die Fovea Centralis 886.
Das Brillenglas 823A ist vorzugsweise so behandelt, dass die Schstrahlen oder Objektstrahlen BRO, BC und BRU, die das Auge sieht, innerhalb des Blickfelds möglichst ungehindert das Glas durchdringen. Die Innenoberfläche 823 dagegen ist so gestallet oder beschichtet, wie z.B. verspicgelt, dass Sirahlen, nämlich die Strahlen SRO, SRU und SC aus dem Inneren des Auges und Strahlen vom optischen System 851 mit möglichst gutem Wirkungsgrad reflektiert werden. Da der Abtaslvorgang und der Projektionsvorgang grundsätzlich denselben Strahlengang vom Auge zum optischen System und umgekehrt verwenden, wird der Einfachheil halber nur auf den Abtastvorgang eingegangen.
Der Taumelspiegel kann um das Zentrum 854A in jede Richtung angekippt werden. Der Winkelbereich zu den Randstrahlen SRO und SRU wird durch eine kreisende Taumelbewegung des Spiegels 854 abgedeckt. Kleine Kreise der Abtaslbewegung des Strahlengangs auf der Retina 881 erfordern dementsprechend eine kleine Auslenkung des Taumelspiegels 854, während die größte Auslenkung - in den Stellungen RO und RU - für die Randstrahlen SRO und SRU erforderlich ist. Die oberen Randstrahlen SRO korrelieren mit dem Objektstrahl BRO, während die unteren Randstrahlcn SRU mit dem Objektstrahl BRU korrelieren.
Wenn das Auge sich bewegt, kann es die in Figur 8B gezeigt Stellung einnehmen. Die Blickrichtung ist wiederum durch den zentralen Objeklstrahl BC angedeutet, der durch den optischen Mittelpunkt der Linse 882 und die Fovea
Centralis 886 verläuft. Das Blickfeld ist wiederum durch Randstrahlcn BRU1 und BRO' bezeichnet. Dabei ist unbeachtlich, dass die dargestellten Winkel zwischen Centerstrahl BC und Randstrahlen BRU' bzw. BRO1 unterschiedlich groß dargestellt sind. Nach theoretischen Überlegungen ist der dem von den Taumelspiegeln abgelenkten Abtasl- bzw. Projektionsstrahl zuzuordnenden Punkt der Retina bei gleicher Relativkippung der Taumelspiegel gegenüber einer auf die Fovea Centralis gerichteten Mittelstellung (C bzw. C) der Taumelspiegel immer derselbe.
Um den Winkelbereich der bei verdrehtem Auge gesehenen Objektstrahlen bestreichen zu können, wird der Taumelspiegel 854 entsprechend dem vorstehend unter Bezug auf die Figuren 4 bis 7 beschriebenen Algorithmus für die Grob- und Feinjustierung des "eye-trackers" derart in seiner Mittelstellung nachgestellt bzw. angekippt, dass die Position der Fovea Centralis 886 vom Centerstrahl SC getroffen wird, dessen Strahlengang von der nachgestellten Mittelstellung des Taumelspiegels 854 bestimmt wird. In diesem Fall verlaufen die zentralen Abtaststrahlen SC nicht deckungsgleich mit dem zentralen Objektstrahl, d.h. dem Centerstrahl BC , durch die optische Mitte der Linse 882, sondern durch einen Bereich der Linse, der unter Berücksichtigung der Brechungsgesetze genau zur Fovea Centralis 886 führt.
Die Taumelbewegung des Spiegels 854 um die nachgestellte Mittelstellung C und mit den dementsprechend geänderten Umkehrstellungcn RO1 und RU1 führt dementsprechend ebenfalls zu einem Strahlenverlauf für die Randstrahlen SRO' und SRU( , die nicht mehr durch die optische Mitte des Auges führen. Auch der Reflexionspunkt der Abtaststrahlen SRO1 , SRU1 und SC auf der Innenseite 823 des Brillenglases 823A muß nicht mehr, kann aber mit dem Durchdringungspunkt der Objektstrahlen zusammenfallen.
Durch das Ankippen der Achse des Taumelspiegels - in der Regel in zwei Ebenen - wird aus dem auf die Retina bezogenen kreis- oder spiralförmigen Abtastmuster ein elliptisches Bewegungsmuster. Auf die Informationsgewinnung hat das jedoch keinen Einfluss, weil Abtastung und Projektion grundsätzlich dasselbe Bewegungsmuster verwenden, so dass weiterhin beispielsweise ein vorher abgetasteter Bildpunkt auf der Retina vom zugehörigen Projektionspunkl des nacheilenden Projektionsstrahls getroffen wird. Die Beschreibung der Nachstellung des optischen Systems an die Blickrichtung des Auges wurde vorstehend anhand eines Abtastvorgangs erläutert. Entsprechendes gilt natürlich auch für einen Projektionsvorgang.
Um das Bewegungsmuster des Strahlengangs für die Abtastung und/oder die
Projektion unabhängig von der Blickrichtung gleichförmig halten zu können, wäre es auch denkbar, eine Justiereinrichtung für das Brillenglas 823A vorzusehen, mit der eine Nachstellung derart erfolgt, dass der Centerstrahl SC mit dem zentralen Objektstrahl BC zur Deckung kommt. Eine solche Justicrcinrichtung ließe sich beispielsweise durch eine elektro-mechanische, piezo-elektrische oder sonstige, auf bekannter Art und Weise angetriebene Aufhängung des Brillenglases verwirklichen. Dabei ist zu berücksichtigen, daß eine schnelle Veränderung der Aufhängung des im Verhältnis zu einem üblichen Brillengestell schweren Brillenglases eher das Gestell als das Glas in Bewegung setzen könnte, was vom Benutzer als störend empfunden werden könnte. Ein Nachstellen der Position des Brillenglases mit einer im Vergleich zur Abtastfrequenz sehr langsamen Frequenz, beispielsweise lediglich 1-5 Nachstellvorgänge pro Sekunde, je nach der Größe der Nachstellung wird deshalb bevorzugt.
Vorstehend wurde die Erfassung der Lageveränderung des Auges und der
Nachstellung des optischen Systems anhand eines Abtastvorgangs erläutert, bei dem zunächst der Makulamittelpunkt und anschließend die Lage zumindest eines weiteren charakteristischen Bereichs der Retina bestimmt wurde. Im folgenden wird anhand der Figuren 9 bis 13 eine Variante des Verfahrens erläutert, mit dem es gelingt, auf der Basis eines einzigen Abtastvorgangs der Retina die Lageveränderung des Auges unmittelbar zu bestimmen. Dabei wird in vorteilhafter Weise die Erkenntnis genutzt, dass die Struktur der Retina bezogen auf den optischen Mittelpunkt, d.h. die Lage der Fovea Centralis, eine solche Aussagekraft hat, dass ein Vergleich der abgetasteten Retina-Bilder vor und nach einer Augenbewegung einen eindeutigen Aufschluss über die Verschiebung und Verdrehung des Auges liefert.
Figur 9
Man erkennt bereits aus der stark vereinfachten Dartcllung von Figur 6, dass die durch geeignete Hilfsmittel, wie z.B. eine Infrarotabtastung, erfassbare bzw. sichtbare oder sichtbar werdende Struktur der Netzhaut mit einer personenbezogenen individuellen Formgebung und relativen Lagezuordnung der charakteristischen, in Figur 6 gezeigten Bereiche einen so hohen Informationsgehalt hat, dass anhand der von der Retinastruktur gewonnenen Daten nicht nur eine Verfolgung der Blickrichtung sondern gleichzeitig eine eindeutige Identifizierung der hinter dem aufgenommenen Bild stehenden Person möglich ist. Diese charakteristische geometrische Anordnung kann - wie im folgenden ausgeführt wird - dazu genutzt werden, die Veränderung der Relativlage zwischen dem signalverarbeitenden optischen System und dem optischen System des Auges zu bestimmen und aus dieser Bestimmung entsprechende Stellsignale abzuleiten.
Figur 9 zeigt stark schematisiert das Bild der durch die Pupille wahrgenommenen Netzhaut, wie es von einer beispielsweise im Intrarotbereich arbeitenden optischen Abtasteinrichtung nach geeigneter Signalverarbeitung erfasst wird. Man erkennt besonders deutlich die Fovea Centralis 986, die Makula 986A, den Sehnervenkopf (Blinder Fleck) 988 und die großen Nclzhautgefäßc 987A. Es sei angenommen, dass dieses Bild in einem Abtastvorgang aufgenommen worden ist, bei dem sich das Fadenkreuz der Koordinatenachsen XA und YA im Zentrum der Fovea Centralis 986 befindet.
Dieses Bild als Referenzbild für eine spätere Augenlage-Schnellbestimmung kann in einer nicht näher dargestellten Speichereinrichtung der Prozessoreinheit 140 (Figur 1) abgespeichert werden, und zwar in Form eines analogen oder digitalen Datensatzes. Eine vorteilhafte Speichermethode ist in Figur 10 dargestellt.
Figur 10
Die Bildinformation wird hier exemplarisch in einem zweidimensionalen Speicher mit n Spalten und m Zeilen festgehalten, so dass ein Speicher mit n x m Speicherplätzen entsteht, wobei in jedem Speicherplatz die lagemäßig zugeordnete Information des Bilds der Netzhaut an dieser Stelle abgespeichert ist. Diese Information kann der beim Abtasten entlang der Zeilen und Spalten erfasste Grauwert sein, wobei es vorteilhaft sein kann die Speicherwertc über ein geeignetes Filter zu verarbeiten, so dass nur diejenigen Speicherplätze SP mit Information gefüllt werden, die sich durch einen besonderen Helligkeits- und/oder Dunkelheitsgrad auszeichnen. Auf diese Weise entsteht das in Figur 10 dargestellte digital speicherbare Bild der Retina, in dem nur diejenigen Speicherplätze SP* belegt sind, deren Zeile 1, 2, .... , ... , n oder Spalte 1, 2, ... , ... , auf einen Kontrastpunkt im Bild der Retina trifft. Diese Speicherplätze SP* haben in der Figur 10 einen Punkt erhalten. Man erkennt, dass das entstehende Punktemuster die Struktur der Retina gut abbildet. Die größeren Netzhautgefäße erscheinen als gepunktete Linien und die Makula 1086A ebenso wie der "blinde Fleck" erscheinen als Punktehaufen.
Das Bild der Retina wird dabei schon mit einer relativ begrenzten Anzahl von Zeilen und Spalten hinreichend genau abgebildet und gespeichert, wobei eine Möglichkeit der Verbesserung der gespeicherten Information z.B. darin besteht, den Absland der Zeilen n und/oder Spalten m im Bereich der Makula und/oder des blinden Flecks zu verkleinern. Durch Vergleich des beim Abtasten der Retina erfassten Bildes mit den zuletzt abgespeicherten Bilddaten kann von einem Abtastzyklus zum nächsten eine exakte Aussage über die Veränderung der Blickrichtung des Auges, und zwar nach Verschieberichtung und Drehung, getroffen werden, was anhand der Figuren 11 bis 13 näher erläutert wird:
Figur 11
Figur 11 zeigt das sich bei einem Abtaslvorgang darstellende Bild der Retina (vgl. Figur 9) für den häufig auftretenden Fall, dass um einen zuletzt abgespeicherten Makulamittelpunkt MMA mit den aktuellen Koordinatenachsen XAA und YAA des optischen Systems der Brille abgetastet wird, während sich das Auge aber zwischenzeitlich bewegt hat. Ebenso entspricht Fig. 11 dem typischen Fall, bei dem der Makulamittelpunkt anhand der Pupillenmitte lediglich grob geschätzt worden ist. Der tatsächliche Makulamittelpunkt ist mit MMN und die Ausrichtungskoordinatenachsen des Augapfels, d.h. der dem Auge zuzurechnenden optischen Wahrnehmung, sind mit XAN und YAN bezeichnet. Das Bewegungsmuster 1138 des Ablaststrahlengangs ist als Spirale angenommen, es ist jedoch gleichermassen möglich, mittels konzentrischer Kreisbewegungen abzutasten. Das Abtaslmusler 1139 kann auch in unterschiedlichen Bereichen, wie z.B. im Bereich der Makula im Hinblick auf eine größere Auflösung modifiziert sein. In diesem Fall nimmt die das Bild der Retina erfassende Einrichtung unter Zugrundelegung einer Bilddatenverarbeitung entsprechend der Bildaufzeichnung nach Figur 10 ein Punktemuster auf, das in Figur 11 mit den Punkten SPA angedeutet ist. Die Punkte SPA liegen auf der Abtastspirale an denjenigen Stellen, an denen das erfasste Bild der Retina einen Signalwert oberhalb oder unterhalb einer vorher eingestellten Schwelle hat. Im Bereich des "blinden Flecks" 1188 und der aus Vereinfachungsgründen nicht näher dargestellten Makula liegen die Punkte SPA als kontinuierliche Punktesequenz SPAS vor, wobei die Anzahl der Punkte von der Abtastfrequenz vorgegeben wird.
Figur 12
Figur 12 zeigt isoliert die Anordnung der Punkte SPA, wie sie von der Abtasteinrichtung erfasst und in einem Speicher abgelegt worden sind, wobei die Organisation des Speichers beliebig gewählt sein kann. Es ist beispielsweise auch möglich, einen zweidimensionalen Speicher entsprechend der Figur 10 zu verwenden. Aus der Figur 12 ist ersichtlich, dass schon mit einer extrem groben Abtastung auf der Basis eines nur etwa 10 Zeilen enthaltenden Bildes eine solche Vielzahl von charakteristischen Speicherpunkten vorliegen, dass die Nelzhautstruktur schon deutlich erkennbar wird.
Mittels einer geeigneten Musterkennungssoftware, die hier nicht näher beschrieben werden muß, da solche dem Musterkennungsf achmann geläufig sind, kann das in Form von Aufzeichnungssignalen vorliegende momentane Abtastbild der Retina gemäß Figur 12 in Deckung mit dem zuletzt gespeicherten Bild der Retina gebracht werden, wobei als Referenz entweder eine analoges Bild nach Figur 9 oder aber ein digitalisiertes Bild in Form der Speicherbelegung nach Figur 10 herangezogen wird. Aufgrund des Umstandes, dass selbst bei Erfassung von lediglich wenigen charakteristischen Bereichen der Retina, wie der Makula, des "blinden Flecks" und der größten Netzhaulgefäße eine große Zahl von Speicherpunklen SPA vorliegen, die in einer anatomisch bedingten einzigartigen Lagekonlϊguration zueinander stehen, kann das Zurdcckungbringen der Bilder mit einem vergleichsweise geringen Aufwand und damit auch innerhalb kürzester Zeit erfolgen.
Figur 13 Figur 13 zeigt den Zustand, nachdem das Bild gemäß Figur 9 oder 10 in Deckung mit dem Speicherbild nach Figur 12 gebracht worden ist. Es gibt genau eine Lagezuordnung der Bilder, in der alle Speicherpunkte SPA auf den charakteristischen Linien der Retinastruktur zu liegen kommen. Um diese Lagezuordnung bei Verwendung eines zweidimensionalen Speichers für das Retinabild (gemäß Figur 10) einfacher bestimmen zu können, kann es vorteilhaft sein, mittels eines geeigneten Programmbausteins einer Bildverarbeitungssoftware das Speicherbild gemäß Figur 10 durch Interpolation der von den gespeicherten Punkten definierten Linien zu ergänzen.
Wenn die gespeicherten Punkte SPA, die auch irreführende Falschpunkte umfassen können, mit der zuvor gespeicherten Retinastruktur in ausreichendem Maße zur Deckung gebracht worden sind, liegt gleichzeitig der Verschiebevektor VV fest, um den sich das Auge zwischenzeitlich verschoben hat bzw. um den die Makulamitte falsch geschätzt worden ist und um den der Mittelpunkt der aktualisierten Abtastbewegung verlegt werden muß, damit das optische System an die aktuelle Blickrichtung angepasst wird. Ebenso liegt in diesem Moment der Verdrehwinkel WV fest, um den sich das Auge bei der Verschiebung verdreht hat. Das Koordinatensystem der aktuellen Abtastbewegung mit den Achsen XAA und YAA ist demgemäß um den Winkel WV zu verdrehen, so dass die neuen Koordinatenachsen XAN und YAN erhalten werden. Auf diese Weise folgt das optische System mit geringster zeitlicher Verzögerung der Blickrichtung des Auges, so dass die "eye-tracker"-Funktion erfüllt wird. Die Koordinaten des neuen Makulamittelpunkts und die zugehörigen Koordinatenachsen werden zu den aktuellen Kennwerten.
Figur 14
Anhand der Figur 14 wird ein modifiziertes Verfahren zur Einstellung des optischen Systems auf die Makulamitte in einer Startphasc beschrieben. Dabei wird zunächst unter Auswertung der Kontrastübergänge - wie in den Figuren 4 und/oder 5 gezeigt - der Mittelpunkt der Pupille gesucht, woraufhin im Schritt S14 für den Fall, dass der Mittelpunkt gefunden wurde, das optische System und damit die Abtastbewegung auf die Pupillenmitte nachgestellt wird. Anschließend erfolgt im Schritt S15 das Suchen der Makulamitte und im
Schritt S16 die Nachjustierung der Abtastbewegung und damit des optischen
Systems auf die gefundene Makulamitte. Dieser Vorgang verläuft ähnlich wie der
Vorgang zur Feinbestimmung der Pupillenmitte. Es werden charakteristische Merkmale der Makula zur Erkennung verglichen.
In der Folge wird im Schritt S17 der "blinde Fleck" gesucht, wobei auf gespeicherte Werte zurückgegriffen wird. Wenn der "blinde Fleck" gefunden, d.h. eindeutig erkannt worden ist, werden im Schritt S18 die Ortskoordinaten abgespeichert. Diese Ermittlung des "blinden Flecks" ergibt charakteristische geometrische Daten der Retina, die für Justier- und Erkennungszwecke genutzt werden können.
Im Schritt S19 wird anschließend die charakteristische Randsfruktur, d.h. die charakteristische Struktur der Retina und/oder der retinalcn Blutgefäße am Rand des vom Scansystem erfaßten, in der Figur 13 beispielsweise kreisförmig dargestellten Bereichs, gesucht. Auch hier erfolgt ein Vergleich mit gespeicherten Daten bzw. Werten. Zusammen mit dem Ort der Makula und des "blinden Flecks" liegen damit weilreichende Geometriedaten des Auges vor, die für Einslell- und/oder Erkennungszwecke genutzt werden können. Der Ort der charakteristischen Randstruktur bestimmt gleichzeitig den größten Radius des Abtast-Bewegungsmustcrs. Wenn die Randstruktur erkannt und gefunden worden ist, werden die entsprechenden Ortskoordinaten im Schritt S20 abgespeichert.
Schließlich kehrt der Strahlengang im Schritt S21 zur Makulamitte zurück, so dass im Schritt S22 mit der Abtastung der auf das menschliche Auge einfallenden Bildinformation begonnen werden kann.
Aus der vorstehenden Beschreibung wird deutlich, dass eine häufige oder laufende Erfassung der Augenbewegungen in der Weise vorgenommen werden kann, dass die Lageveränderungen der Koordinaten charakteristischer Retinabereiche im Rahmen eines Scan- und/oder Projektionsvorgangs erfasst werden. Dabei erfolgt ein Vergleich erfasster Bilddaten mit in einem Datensatz abgespeicherten Werten, die beispielsweise das zuletzt zentrisch zum optischen Mittelpunkt aufgenommene Retina-Strukturbild wiedergeben. Die Bereitstellung eines solchen Datensalzes, beispielsweise ein wie zuvor erläutertes Retina- "Mapping", kann in vorbeslimmten Zyklen oder nach Bedarf vorgenommen werden. Beispielsweise kann eine Aktualisierung des Datensalzes nach einer großen Augenbewegung sinnvoll sein, da das durch die Pupille sichtbare Bild der Retina aufgrund der dreidimensionalen Krümmung der Retina eine Verzerrung bei großen Augenbewegungen erfährt. Durch die oben beschriebenen Maßnahmen sind selbst kleinste Augenbewegungen schnell und zuverlässig erfassbar.
Vorstehend wurde unter Bezug auf die Figuren 9 bis 13 die Funktion des "eye-tracking" für einen Extremfall dargestellt, in dem sich das Auge innerhalb einer Zeitspanne, die zum Abtasten erforderlich ist, d.h. innerhalb von 10 μs, um den Winkel WV und den Vektor VV verschoben hat. In der Regel sind diese Verschiebungen aber viel kleiner als in Figur 17 dargestellt. Es hat sich daher gezeigt, dass es zur Gewährleistung der "eye-lrackcr"- Funktion mit hinreichender Genauigkeit für die überwiegenden Bewegungsabläufe und Anwendungen ausreicht, wenn das Relina-Mapping nur zu ausgewählten Zeitpunkten, und zwar vorzugsweise nur dann durchgeführt wird, wenn die Datensätze des als Referenz dienenden Bildes der Retinastruktur qualitativ aufgewertet werden müssen. Dies wird anhand des Ablauf diagramms nach Figur 15 näher erläutert:
Figur 15
Die "eye-tracking"-Funktion des Systems startet mit einem Schritt S30, in dem eine Grobjustierung entsprechend den Abläufen vorgenommen wird, die unter Bezug auf die Figuren 4 oder 5 beschrieben worden sind. Dieser Schritt beinhaltet auch die Initialisierung des optischen Systems, d.h. das optische System beginnt erst dann weiter zu arbeiten, wenn festgestellt worden ist, dass die Grobjustierung mit Erfolg abgeschlossen ist, das Auge also offen ist.
Anschließend wird im Schritt S 31 eine Feinjustierung vorzugsweise auf den Makulamittelpunkt vorgenommen, wie das unter Bezug auf die Figuren 6, 6A und 7 beschrieben worden ist.
Wenn diese Feinjuslierung mit Erfolg abgeschlossen ist, läuft das Programm zum Schritt S32, in dem das sogenannte "Retina-Mapping" vorgenommen wird, mit dem Ziel, ein möglichst genaues analoges oder digitales Bild der Retinastruktur zu erhalten und beispielsweise gemäß Figur 10 in einem zweidi ensionalen Speicher abzuspeichern.
Wenn das beim Initialisieren des Systems in der Slartphase ablaufende "Retina-Mapping" abgeschlossen ist, beginnt der eigentliche "eye-tracking "- Prozess, bei dem zunächst die Programmschritte S301 und S311 der Grob- und Feinjustierung ablaufen. Wiederum werden diese Schritte so lange durchlaufen, bis ein erfolgreicher Abschluss festgestellt worden ist. In die Wicderholungsschlcife der Feinjustierung ist ein Summierschritt S33 eingegliedert, in der die Anzahl der Wiederholungsschleifen auf summiert werden. Solange die aufsummierte Anzahl der Wiederholungsschleifen kleiner als n* ist, wird der Schritt S31' der Feinjustierung durchgeführt. Wenn diese auch nach dem n*-tcn Mal nicht erfolgreich abgeschlossen wird, ist anzunehmen, dass die abgespeicherten Daten zur Darstellung des Retinastrukturbildes nicht mehr gut genug sind, um eine eindeutige, vorzugsweise konfokalisierende Justierung des Abtaststrahlengangs vornehmen zu können. Dies könnte beispielsweise dann der Fall sein, wenn sich das Auge innerhalb kürzester Zeit so weit verdreht und/oder verschoben hat, dass unter Berücksichtigung der dann auftretenden, und durch die dritte Dimension der Augenbewegung begründeten Verzerrung des Retinabildes eine eindeutige Erkennung der charakteristischen Netzhaut- und/oder Makulastruktur nicht mehr erfolgen kann. In diesem Fall springt das Programm zum Schritt S32 zurück und es wird erneut ein "Retina-Mapping" vorgenommen.
Wie die Erfassung einer Verzerrung, beispielsweise des Retina-Bildes, zum Vorteil des Systems angewandt werden kann, wird im dem Abschnitt mit der Überschrift "Helme" näher erläutert.
Ist die Feinjuslierung erfolgreich, läuft das Programm zum Schritt S35, in dem geprüft wird, ob die in Figur 13 mit dem Vektor VV und dem Verdrchwinkel WV angedeutete Abweichung des zuletzt gespeicherten Makulamittelpunkts MMA vom neuen Makulamittelpunkt MMN kleiner als ein empirisch festzulegender zulässiger Wert ist. Falls diese Abfrage JA ergibt, erfolgt im Schritt S36 die Nachstellung des optischen Systems, d.h. die Verlegung des Zentrums des Abtaslbewegungsmusters in den neuen Makulamittelpunkt MMN. Falls die Abfrage NEIN ergibt, wird ein erneutes "Retina-Mapping" im Schritt S32 durchgeführt.
Nach erfolgter Nachstellung tritt das optische System in seine eigentliche Funktion ein, d.h. es wird im Schritt S37 das eigentliche Ablast- und/oder Projektions-Bewegungsmusler durchlaufen, mit dem die auf das Auge einfallende Bildinformation verarbeitet wird. Dieser Schritt kann - wie in den früheren Anmeldungen der Erfinder beschrieben - auf der Basis von konzentrischen Kreisen oder Ellipsen, oder aber auf der Basis von Kreis- oder Ellipsenspiralen erfolgen. Bezüglich der Abtastbewegung und der Signalverarbeitung wird - zur Vereinfachung der Beschreibung - ausdrücklich auf den Inhalt der früheren Anmeldungen der Erfinder gemäß DE 196 31 414 AI bzw. der WO98/05992 A2 und DE 197 28 890, sowie der internationalen Anmeldungen PCT/EPÜO/09842 und PCT/EP00/09842 verwiesen, deren Offenbarung durch Bezugnahme ausdrücklich in diese Anmeldung einbezogen werden soll.
Mit strichpunktierter Linie ist ein Verfahrensschritt S38 angedeutet, in dem optional beispielsweise, durch einen mitlaufenden Abtaststrahlengang, der beispielsweise im Infrarotbereich arbeitet, laufend ein Scrcening der Retina-Strukur erfolgt. Die hierbei gewonnene Information kann dazu genutzt werden, die gespeicherten Daten der Retinastruktur entweder zu ergänzen oder - bei auftretenden Abweichungen, beispielsweise bei räumlicher Bildverzerrung - zu überspeichern.
Figur 16
Figur 16 zeigt schematisch einen möglichen Aufbau des optischen Systems mit den einzelnen Funktionsgruppen und im einzelnen, wie eine mit ET bezeichnete "eye-tracker" -Schaltung in das System zu integrieren wäre. Das dargestellte System hat zwei Hauplgruppen. Auf der linken Seite ist das optische Interface 1620 angedeutet, zu dem die Abtast- und Projeklionseinrichtung 1650 und das Brillenglas 1623A gehören. Mit dem Bezugszeichen 1640 ist die Steuergerätelektronik bezeichnet, die mit der Brilleneleklronik kommuniziert.
Gemäß der Abbildung umfaßt die Brillenelektronik sowohl einen horizontalen und einen vertikalen Treiber TH bzw. TV zur Ansteuerung des jeweiligen Ablenkspiegels, der mit ASH bzw. ASV bezeichnet ist, als auch einen Infrarot- Sensor IRS mit einem dazugeordneten, mit VIR bezeichneten Verstärker.
Die "eye-tracker" -Schaltung der Sleuergerälelektronik steuert die Treiber mittels der A/D-Wandler an und erhält mittels eines A/D Wandlers Signale vom Verstärker VIR. Es ist auch ein mit TG bezeichneter Timing-Generator dargestellt, der im wechselseitigen Daten- und Signalaustausch mit der "eye-tracker "-Schaltung ET steht. Ein ebenfalls wechselseiliger Signalfluß findet zwischen der "eye- tracker "-Schaltung ET und dem digitalen Signalprozessor DSP statt, in dem beispielsweise die Bildspeicherung und -Verarbeitung vorgenommen wird.
Bezüglich der Ausführungsmöglichkeiten und der weiteren Rollen der in der Figur 16 gezeigten Komponenten wird auf die mannigfaltigen detaillierten Erläuterungen verwiesen, die anderorts in dieser Beschreibung zu finden sind.
Figur 17
Aus der vorstehenden Beschreibung ergibt sich, dass erfindungsgemäß ein vorbestimmtes Bewegungsmuster eines Abtaststrahlengangs zur Bestimmung der Pupillen- und/oder Makulamitte zur Anwendung kommt, das in das
Bewegungsmuster des Abtast- oder Projektionsstrahlcngangs derart integriert ist, dass es dem Bewegungsmuster des Abtast- oder Projektionsstrahlengaπgs möglichst ähnlich ist und zeitlich derart abgestimmt ist, dass der Takt der Zyklen des Abtastoder Projektionsstrahlcngangs beibehalten werden kann. Das heißt, das Bewegungsmuster des Abtast- oder Projektionsstrahlcngangs erhält je nach Bedarf und im Takt eine Art "Vorspann", in dem die Funktion des "eye-tracking" durchgeführt wird. Da die Bewegung des Abtaststrahlengangs für das "eye- tracking" mit etwa 20 bis maximal 50 kreisartigen Bewegungen im Vergleich zu dem Gesamtweg des Strahlengangs bei der zyklischen Abtastung des auf das Auge enfallendes Bildes mit beispielsweise 1024 konzentrischen Kreisen relativ klein ist, wird für das "eye-tracking" auch nur ein verhältnismäßig kleiner Bruchteil der Zeitspanne von 10 ms benötigt, die für einen Bildabtastvorgang reserviert ist. Die Qualität der Bildabtastung und - projektion wird somit durch die " eye-tracking "- Funktion nicht spürbar beeinträchtigt, was anhand der Figur 17 erläutert werden soll: Wie vorstehend anhand der Figuren 4 bis 7 erläutert worden ist, werden - wie mit den Schritten S50, S51 und S52 angedeutet - nur einige wenige Scankreisbewegungen ni benötigt, um den Makulamittelpunkt um die Lage des Auges bezüglich des optischen Systems zu bestimmen und diese im Schritt S53 nachzujustieren. Dabei wird vorzugsweise auf gespeicherte Daten der Retinaslruktur zurückgegriffen; die Makulamitte wird vorerst geschätzt. Diese geschätzte Makulamitte kann beispielsweise die beim letzten Scanvorgang ermittelte Makulamitte, eine anhand der bei mehreren der letzten Scanvorgängen ermittelten Makulamitten statisch geschätzte Makulamitte oder ein anhand statistisch ermittelter, die räumliche Zuordnung der PupiUenmitte zur Makulamitte betreffender Informationen unter Bezugnahme eines aktuell oder zuvor, grob oder fein bestimmten Pupillenmittelpunkt räumlich geschätzter Punkt sein. Da sich die Makula innerhalb der beispielsweise 10 s, die dem Intervall zwischen Scanvorgängen bei einer Scanfrequenz von 100 Hz entsprechen würden, auch bei schnellsten Augenbewegungen lediglich um wenige μm bewegen könnte, genügt die zuvor ermittelte Makulamitte in der Regel als Startposition, d.h. als sogenannte "geschätzte Makulamitte", des aktuellen Retinascan Vorgangs, um die aktuelle Position der Makulamitte zuverlässig zu bestimmen.
Im Schritt S54 wird die Abtastbewegung ausgehend vom Makulamittelpunkt durchgeführt, wobei vorzugsweise ein Spiralscan mit einem Zeilensprung ϊ faz verwendet wird, damit eine hohe Auflösung erzielt wird. Das Maß rM bedeutet den Radius des maximalen Makuladurchmessers. Der Wert n? wird empirisch bestimmt und kann in Abhängigkeit von der vorzunehmenden Aufgabe des optischen Systems variiert werden.
Wenn nach Durchführung von n2 Kreisbewegungen der Rand der Makula im Schritt S55 erreicht ist, wird das Bewegungsmuster im Schritt S56 geändert, indem beispielsweise ein positiver progressiver mittlerer Zeilensprung PPMZ wie folgt bestimmt wird.
Figure imgf000041_0001
wobei ΓMΛX den und sich n3 wie folgt errechnet:
n3 = 1024 - n2 - m - 1 Wenn im Schritt S57 festgestellt wurde, dass der Rand der Retina erreicht worden ist, wird das Bewegungsmuster des Abtasl- oder Projektionsstrahlengangs im Schritt S58 von Außen nach Innen, und zwar vorzugsweise wiederum mit einem progressiven Zeilenabstand durchgeführt. Der progressive negative mittlere
Zeilensprung PNMZ wird beispielsweise erneut wie folgt festgelegt:
PNMZ = (rMAX - rM)/n3
Wenn die Anzahl der vollen Kreis- oder Spiralbcwegungen n3 erreicht wird
(Schritt S59), kann zur Erzielung einer höheren Auflösung im Schritt S60 auf einen negativen Zeilensprung NZ umgeschaltet werden, der wie folgt bestimmt wird:
NZ = rM / (1024 - n3)
Da somit in diesem Fall die Anzahl ni der Bewegungsmuster zur Bestimmung der Makulamitte entfällt, kann ein entsprechend kleinerer Zeilensprung im Bereich der Makula eingestellt werden. Gegebenenfalls wird auf die Möglichkeit einer höherer Auflösung im Bereich der Makula durch den kleineren Zeilensprung verzichtet, um die Datenverarbeitung zu vereinfachen. Gegebenenfalls werden die Anzahl der "Vorspannkreisbewcgungen" zur Augenposilionsbestimmung und die jeweiligen Zeilcnsprünge festgesetzt, um die damit verknüpfte Datenverarbeitung zu vereinheitlichen.
Bei Schritt S61 ist der Makulamittelpunkt erreicht, so dass das Programm zum Schritt S50 zurückkehrt.
In der Figur 17A ist eine Abwandlung dieser Vorgehensweise gezeigt, bei der beispielsweise bei Bedarf oder nach einer bestimmten Anzahl von Schritten die Pupillenmitte erneut grob und/oder fein bestimmt wird, bevor mit dem von der geschätzten Makulamitte ausgehenden Scanvorgang begonnen wird. Eine solche "Neuorientierung" des Scansystems kann zum Beispiel dann notwendig sein, wenn das Auge längere Zeit geschlossen war und das Auge, und somit auch die Makula, sich während dieser Zeit deutlich von seiner bisherigen Position hinwegbewegt hat. Eine Neubestimmung der PupiUenmitte kann auch dazu dienen, statistisch Informationen bezüglich der relativen Position der Pupillenmitte zur MEikulamitte zu gewinnen. Insbesondere nach einem Benutzerwechsel ist es vorteilhaft, eine solche Informationsgewinnung durchzuführen, um den Scanvorgang, wie beschrieben, anhand der gewonnenen Informationen optimieren zu können.
Figur 19
Figur 19A zeigt eine weitere Ausführungsform einer interaktiven Brille 1920, bei der die vorstehend beschriebene "eye-tracker"- Funktion anwendbar ist. Hierbei ist eine kombinierte Signalerfassungs- und Projektionsvoirichlung 1950 im Bereich des Nasenstegs 1922 an die Brille 1920 angebracht ist. Gemäß der Detailzeichung 19B umfaßt die kombinierte Signalerfassungs- und Projektionsvorrichtung 1950 sowohl eine Projektionsvorrichtung 1953 als auch eine
Signalerfassungsvorrichtung, die zusammen in einem schützenden Gehäuse 1958 untergebracht sind. Durch ein lichtdurchlässiges Fenster 1959 in einer Außenwand des Gehäuses 1958 gelingen Lichtstrahlen 1930 in das Innere des Gehäuses 1958 und umgekehrt. Das Abschließen des Gehäuses 1958 durch das Fenster 1959 verhindert jedoch, daß Staub, Schweiß und andere Frcmdstöffc den Betrieb der kombinierte Signalerfassungs- und Projektionsvorrichtung 1950 stört.
Analog den beschriebenen Systemen gemäß Fig. 3 und 18 werden
Lichtstrahlen 1930, 1930a, 1930b erfaßt bzw. projiziert. Die interaktive Brille 1920 ist allerdings in ihrem Aufbau dadurch vereinfacht, daß die getrennten Spiegel 352 bzw. 1852 zur vertikalen bzw. horizontalen Ablenkung des jeweiligen Lichtstrahls 331 bzw. 1832 durch einen Taumelspiegel 1952 bzw. 1954 ersetzt sind. Diese Taumelspiegel werden zur Erfüllung der "eye-tracking "-Funktion entsprechend der Beschreibung von Figur 8 mittels der in Figur 16 gezeigten Anordnung nachjustiert.
Zwecks einer kompakten Bauweise kann ein teildurchlässiger Spiegel 1956 dazu dienen, separate Strahlengänge innerhalb des Gehäuses 1958 für das durch das Fenster 1959 fallende bzw. projizierle Licht 1930 zu ermöglichen. Bevorzugt wird die Innenseite des Brillenglases mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 1923 versehen, die als Spiegel für den Strahlengang zwischen dem Auge 1980 und dem kombinierten Signalerfassungs- und Projektionsvorrichtung 1950 verwendet. Dies trägt zu einer Reduzierung der notwendigen Komponenten bei und führt in der abgebildeten Ausführungsform zu einem vereinfachten, lichtstarken Strahlengang 1930, bei dem der Lichtstrahl 1930 zwischen Auge 1980 und Projektions- bzw. Signalerfassungsvorrichtung 1953 bzw. 1951 lediglich dreimal reflektiert wird.
Die für eine Taumelbewegung des Spiegels 1952, 1954 notwendige
Bewegungsfreiheit läßt sich beispielsweise durch eine kardanische oder federnde Aufhängung des Spiegels 1952, 1954 erreichen. Mögliche Ausführungsarten eines derartigen Taumelspiegels sind dem Fachmann beispielsweise aus dem Gebiet der Mikrotechnik bekannt. Weitere Lösungen des vorliegenden Ablenkungsproblems, bei der der jeweilige Lichtstrahl 1930 auf der Basis clektrochromer, holographischer, elektroholographischer oder sonstiger Lichtbrechungs- oder Lichtreflektionsmechanismen gelenkt wird, sind ohne weiteres denkbar und ebenfalls anwendbar.
Obwohl die interaktive Brille 1920 in einer minimalislischen
Ausführungsform gezeigt ist, bei der eine kombinierte Signalerfassungs- und Projektionsvorrichtung 1950 lediglich für das linke Auge 1980 vorgesehen ist, ist es selbstverständlich, daß eine spiegelverkehrt gebaute, zweite kombinierte Signalerfassungs- und Projektionsvorrichtung 1950 im Bereich der rechten Hälfte des Nasenstegs 1922 für das nicht dargestellte rechte Auge bei Bedarf vorgesehen werden kann.
Figur 20
Figur 20A zeigt in Form einer Abänderung der in den Figuren 19A und 19B dargestellten Brille 1920 eine interaktive Brille 2020 gemäß einem weiteren Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 2050L in dem zwischen dem linken Brillenglas 2024L und dem linken Bügelteil 2021L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 2050R in dem zwischen dem rechten Brillenglas 2024R und dem linken Bügelteil 2021R liegenden Bereich angeordnet sind.
Eine solche Anordnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 2050L, 2050R gegenüber den jeweiligen Brillengläsern
2024L, 2024R und den jeweiligen Augen 2080 ist normalerweise mit der Notwendigkeit verbunden, entweder mehrere Spiegel entlang des Strahlengangs 2030 vorzusehen (vgl. Spiegel 322 und 323 in Figur 3) oder dem jeweiligen Brillenglas 2024L, 2024R eine besondere Form zu verleihen, um eine Erfassung aller Bereiche der Netzhaut 2081 zu gewährleisten. Dies schränkt jedoch die Gestaltungsmöglichkeiten der Brille 2020 erheblich ein. Um dieses Problem zu umgehen, sieht die interaktive Brille 2020 gemäß Figur 20 Brillengläser 2024L, 2024R vor, deren Innenseite mit einer jeweiligen holographischen Beschichtung 2023L, 2023R versehen sind. Solche holographischen Beschichtung 2023 sind in der Lage, eine beliebige Reflektionstopologie zu emulieren. Zum Beispiel kann eine holographisch beschichtete, flache Oberfläche wie eine sphärisch gekrümmte Oberfläche wirken. Ebenso kann eine holographisch beschichtete, sphärisch gekrümmte Oberfläche wie eine flache Oberfläche wirken. Die Änderung der effektiven Reflektionstopologie hängt lediglich vom holographischen Inhalt der Beschichtung ab. Gemäß der Abbildung sind die holographischen Beschichtungen 2023L und 2023R spiegclsymmetrisch zueinander ausgebildet und angeordnet.
Figur 20B enthält eine Detailzeichnung der kombinierte Signalerfassungsund Projektionsvorrichtungen 2050L. Analog der in der Figur 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 2058, eine Projektionsvorrichtung 2053 und eine Signalerfassungsvorrichtung 2051, jeweilige Taumelspiegel 2052 und 2054, einen teildurchlässigen Spiegel 2056 und ein Gehäusefenster 2059. Auch bei dieser Ausführungsform wird die "eye-tracking "-Funktion dadurch erfüllt, dass die Taumelspiegel 2052 und 2054 entsprechend dem Ergebnis der Erfassung des Makulamittelpunkts nachjustiert werden, wie das anhand der Figur 8 erläutert wurde.
Figur 21
Ähnlich den Figuren 20A und 20B zeigt Figur 21A in Form einer
Abänderung der in den Figuren 19A und 19B dargestellten Brille 1920 eine interaktive Brille 2120 gemäß einem weiteren Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 2150L in dem zwischen dem linken Brillenglas 2124L und dem linken Bügelteil 2121L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 2150R in dem zwischen dem rechten Brillenglas 2124R und dem linken Bügelteil 2121R liegenden Bereich angeordnet sind.
Figur 21B enthält eine Detailzeichnung der kombinierte Signale rfassungs- und Projektionsvorrichtungen 2150L. Analog der in der Figur 19B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 1950 umfaßt sie ein Gehäuse 2158, eine Projektionsvorrichtung 2153 und eine Signalerfassungsvorrichtung 2151, jeweilige Taumelspiegel 2152 und 2154, einen teildurchlässigen Spiegel 2156 und ein Gehäusefenster 2159. Die "cye-tracking"- Funktion wird wiederum dadurch erfüllt, dass die Taumelspiegel 2152 und 2154 auf den jeweiligen erfassten Makulamittelpunkt nachjusliert werden.
Das oben angesprochene Problem des Strahlengangs 2130 wird bei diesem Ausführungsbeispiel durch besonders ausgestaltete Pads 2125L und 2125R platzsparend gelöst. Typischerweise werden Brillen 2120 entweder durch den Nasensteg 2122 oder durch sogenannte Pads 2125 auf der Nasenwurzel gestützt. In ihrem handelsüblichen Gestalt sind Pads relativ flach, leicht gekrümmt und oval. Zudem sind sie entweder schwenkbar oder taumelnd an einem vom Nasensteg 2122 ausgehenden Vorsprung gelagert, um ein angenehmes Anliegen der Pads an die Seilenflächen der Nasenwurzel zu gewährleisten. Im abgebildeten Ausführungsbeispiel sind die Pads 2125 als formfeste, längliche Einheilen ausgebildet, die im Bereich des Nasenstegs 2122 von der Brille 2120 in Richtung Auge 2180 herausragen. Auf ihrer jeweiligen, der Nase zugewandten länglichen Seite bilden die Pads 2125 die sich auf die Nasenwurzel stützende Auf liegefläche. In ihrem der Brille 2120 gegenüber liegenden Endbereich weisen die Pads 2125 auf der jeweilig dem Auge zugewandten Seile eine Tragfläche auf, die mit einem Spiegel oder einer spiegelnden Beschichtung, beispielsλveise einer Metallbeschichtung oder einer holographischen Beschichlung, versehen ist.
Obwohl das Gestell der Brille 2120, einschließlich die Pads 2125, eine im
Prinzip feste Form aufweist, treten sowohl quasi-statische, z.B. durch Materialermüdung und/oder Temperaturänderungen, als auch dynamische Verformungen des Gestells auf. Insbesondere beim Aufsetzen der Brille 2120 und bei erschütterungsreichen Aktivitäten ergeben sich Veränderungen der relativen Anordnung der jeweiligen Brillenkomponenten zueinander. Auch ist die relative Anordnung der Brille 2120 gegenüber dem Auge 2180 keine Konstante. Demgemäß muß sowohl das optische System der Brille 2120, d.h. diejenigen Systemkomponenten, die zur optischen Signalerfassung bzw. zur optischen Projektion beitragen, als auch ein eventuell daran angeschlossenes Verarbeitungssystem derart konzipiert und ausgelegt sein, daß solche Anordnungsveränderungen berücksichtigt und/oder kompensiert werden können bzw. keine außerordentlichen Betriebsstörungen verursachen. Dies gilt für alle Arten von interaktiven Brillensystemen.
Erfindungsgemäß läßt sich das zuvor angesprochene Problem insbesondere durch eine geeignete Signalverarbeitung der erfaßten und der zu erzeugenden Signale bewältigen. Es können auch fest am Brillengestell in der Nahe des üblichen Strahlengangs 2130 angebrachte optische Markierung von der Signalerfassungsvorrichtung 2151 zwecks Eichung ihres optischen Systems regelmäßig oder bei Bedarf mit erfaßt werden.
Figur 22
Figur 22 zeigt in Form einer Abänderung der in den Figuren 19A und 19B dargestellten Brille 1920 eine interaktive Brille gemäß einem weiteren bevorzugten Ausführungsbeispiel, bei der die Signalerfassungsvorrichtung 2251 der kombinierten Signalerfassungs- und Projektionsvorrichtungen 2250 in der Lage ist, das Hornhautreflexbild mindestens partiell zu erfassen.
Die Hornhaut ist normalerweise rotationssymmetrisch zur Sehachse ausgebildet. Strahlen, die senkrecht auf einen zentralen Bereich der Hornhaut fallen, sind somit konfokal zum optischen System des Auges 2280 und bilden die
Basis des von der Nelzheut 2281 tatsächlich wahrgenommenen Bildes. Zudem besteht die Hornhaut 2283 zum größten Teil aus Wasser und weist aus diesem
Grunde, einen sehr hohen Reflektionsgrad bei einer Wellenlänge von ca. 1,1 μm auf. Da diese Wellenlänge im infraroten Spektralbcrcich liegt, eignet sich eine
Erfassung des Hornhautreflexbildes vorwiegend für Infrarotanwendungen, beispielsweise bei Nachtsichtgeräten. Allerdings finden Reflektionen nicht nur an der äußeren, konkaven Hornhautoberfläche, sondern auch im Inneren der Hornhaut statt. Zudem bewirkt die Hornhaut 2283 aufgrund ihrer Struktur keine spiegelartige, sondern eine diffuse Reflektion, die mit zunehmender Tiefe des
Reflektionsereignisses im Inneren der Hornhaut diffuser wird. Um ein sinnvolles Hornhautreflexbild zu erhalten, werden im abgebildeten Ausführungsbeispiel effektiv nur diejenigen Strahlen, die senkrecht auf einen zentralen Bereich der Hornhaut fallen, erfaßt. Dies wird durch mehrere Maßnahmen erreicht. Erstens weist das vor dem Auge gelagerte Brillenglas 2224, dessen dem Auge 2280 zugewandte Seite mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 2223 verschen ist, eine besonders gestaltete Form auf, die das senkrecht von der Hornhaut reflektierte Licht derart bündelt, daß es als beinah parallel verlaufende Lichtstrahlen 2234 auf die Signalerfassungsvorrichtung 2251 fällt, während nicht senkrecht von der Hornhaut reflektiertes Licht in eine andere Richtung gelenkt wird. Alternative kann das Brillenglas 2224 andersartig gestaltet sein, jedoch eine teildurchlässige holographisch reflektierende Schicht 2223 aufweisen, die ebenfalls eine derartige Bündelung des senkrecht von der Hornhaut reflektierten Lichtes bewirkt, daß es als beinah parallel verlaufende Lichtstrahlen 2234 auf die Signalerfassungsvorrichtung 2251 fällt, während nicht senkrecht von der Hornhaut reflektiertes Licht in eine andere Richtung gelenkt wird. Zweitens wird eine Blende 2257 kurz vor der Signalerfassungsvorrichtung 2251 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfallswinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 2234 liegt.
Die "eye-tracking"-Funktion wird bei dieser Ausfuhrungsform - ebenso wie bei den vorangehend beschriebenen Varianten - dadurch erfüllt, dass mittels eines Abtastvorgangs, bei dem entweder aktiv oder passiv, vorzugsweise in einem Wellenbereich oder einem Energiebereich gearbeitet wird, den das menschliche Auge nicht als bilderzeugend wahrnimmt, die Retinastruktur und damit die Lageveränderung des Makulamittelpunkts häufig oder kontinuierlich erfasst wird und dass entsprechend dem Ergebnis dieser Erfassung die in der Vorrichtung 2250 aufgenommenen Spiegel KS1 und KS2 wie zuvor beschrieben nachjustiert werden.
Figur 23
Figur 23 zeigt in Form einer Abänderung der in den Figuren 19A und 19B dargestellten Brille 1920 eine interaktive Brille gemäß einem weiteren
Ausführungsbeispiel, bei der ein sphärisches oder sphärisch wirkendes teildurchlässiges spiegelndes Zusatzelement 2329 zwischen dem Brillenglas 2324 und dem Auge 2380 angeordnet ist. Bevorzugt ist das Zusatzelement 2329 konfokal zum optischen System des Auges 2380 angeordnet.
Der Reflektionsgrad eines solchen Zusatzelemenls 2329 läßt sich an die
Bedürfnisse des Informationssystems anpassen. Es kann zwischen einem hohen Reflektionsgrad, was eine sehr gute Erfassung auf das Auge 2380 gerichteter Lichtstrahlen 2333a-2333c ermöglicht, und einem niedrigen Reflektionsgrad, was eine Beeinträchtigung der durch das Auge 2380 erfolgenden Wahrnehmung vermeidet, gewählt werden. Bevorzugt weist das Zusatzelemenl 2329 einen niedrigen (beispielsweise unter 10%), über seine gesamte Reflektionsfläche homogenen Reflektionsgrad auf. Dahingegen weisen reflektierende Organe des Auges 2380, zum Beispiel die Kornea 2383 oder die Retina 2381, zum Teil sehr starke örtliche Reflektionsabhängigkeiten auf. Ähnliche Aussagen betreffen die spektralen Reflektionsabhängigkeiten des Zusatzelements bzw. der reflektierenden Organe des Auges 2380. Während das Zusatzelemenl 2329 bevorzugt derart ausgebildet werden kann, daß es einen homogenen Reflektionsgrad über alle relevanten Spektralbereichc aufweist, weisen die verschiedene Organe des Auges 2380 sehr unterschiedliche Absorbtionsgrade auf, die in vielen Fällen auch starke örtliche Schwankungen unterworfen sind.
Außer der Teilreflektion soll das Zusatzelement 2329 möglichst keine Auswirkung auf das darauf fallende Licht ausüben. Aus diesem Grund wird das Zusatzelement 2329 bevorzugt aus einem homogenen lichtdurchlässigen und ungefärbten Material und mit einer in Richtung der auf den Augcnmittelpunkt gerichteten Lichtstrahlen konstanten Dicke gefertigt. Durch das Aufbringen einer Anlireflexbeschichtung auf der dem Auge 2380 zugewandten Seite des Zusatzelemenls 2329 läßt sich eine verbesserte Lichldurchlässigkeil erzielen.
Die reflektierende Kontur eines solchen Zusatzelemenls 2329 ist wohl definiert, und kann dem Informationssystem demgemäß als bekannte Information zur Verfügung gestellt werden, während die Kontur der relevanten reflektierenden Organe des Auges 2380 erst ermittelt werden muß. Letzteres kann mit zum Teil nicht unerheblichem Aufwand verbunden sein. Die Erfassung auf das Auge 2380 gerichteter Lichtstrahlen 2333a-2333c über ein solches Zusalzelement 2329 kann somit hochwertige Bilder des Blickfeldes liefern. Im abgebildeten Ausführungsbeispiel werden effektiv nur diejenigen Strahlen, die senkrecht auf das Zusatzelement 2329 fallen, erfaßt. Dies wird durch die folgenden Maßnahmen erreicht:
Aufgrund der teilsreflektierenden Oberfläche des Zusatzelemenls 2329 wird ein entsprechender Teil derjenigen Strahlen 2333a-2333c, die senkrecht auf die Oberfläche des Zusatzelements 2329 fallen, senkrecht zurückre lektiert, während andere Strahlen von der Oberfläche des Zusatzelemenls 2329 gemäß dem Reflektionsgesetz "Einfallswinkel gleich Reflektionswinkel" entsprechend schräg zurückreflektiert werden. Die senkrecht zur Oberfläche des Zusatzelemenls 2329 zurückreflektierten Lichtstrahlen legen den gleichen Weg zurück, den sie gekommen sind, und treffen somit auf das dem Auge vorgelagerte Brillenglas 2324. Die dem Auge 2380 zugewandte Seile des Brillenglases 2324 ist mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 2323 versehen, und weist eine besonders gestaltete Form oder eine besonderes ausgebildete Beschichlung auf, die die senkrecht vom Zusatzelemenl reflektierten Lichtstrahlen derart bündelt, daß sie als beinah parallel verlaufende Lichtstrahlen 2334 auf die Signalerfassungsvorrichtung 2351 fallen, während nicht senkrecht vom Zusatzelement reflektierte Lichtstrahlen in eine andere Richtung gelenkt werden. Desweiteren wird eine Blende 2357 kurz vor der Signalerfassungsvorrichtung 2351 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfall swinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 2334 liegt.
Soll das über das Zusatzelemenl 2329 erfaßte Bild des Gesichtsfeldes die Grundlage für eine mit dem tatsächlich wahrgenommenen Gesichtsfeld korrelierlc Projektionen, so muß die Korrelation zwischen dem erfaßten Licht und dem wahrgenommenen Gesichtsfeld ermittelt werden. Gemäß dem dargestellten fünften Ausführungsbeispiel wird diese Korrelation durch eine bevorzugte konfokale Anordnung des Zusatzelcments 2329 zum optischen System des Auges 2380 erreicht. Es wird deshalb bevorzugt, daß das Zusatzelement 2329 über eine justierbare Aufhängung derart an der Brille befestigt ist, daß sich die Position des Zusatzelements 2329 sowohl in vertikaler als auch in zwei horizontalen Richtungen nachjustieren läßt. Konfokalität ist im grundegenommen dann gegeben, wenn das Zusatzelement 2329, optisch gesehen, rotationssymmetrisch zur Sehachse und mit einem Absland zur Linse 2382 angeordnet ist, daß der optische Mittelpunkt des optischen Systems des Auges mit dem Mittelpunkt der durch das sphärische oder sphärisch wirkende Zusatzelement definierten Kugel übereinstimmt. Die Sehachse läßt sich zu diesem Zwecke ausreichend über die Ausrichtung der Pupille 2384 bestimmen, die durch ihre scharfe Konturen leicht erkennbar ist, und deren Ausrichtung aufgrund ihrer runden Form licht bestimmbar ist. Zudem ist aufgrund der spärischen oder sphärisch wirkenden Form des Zusatzelements 2329 keine Schwenkung des Zusatzclements 2329 um die möglichen Schwenkachsen des Auges 2380 notwendig, um Konfokalität zu gewährleisten. Denn auch bei einer Verdrehung des Auges bleibt durch eine entsprechende vertikale und/oder horizontale Verschiebung des Zusatzelements 2329 zumindest ein wesentlicher Teil des Zusatzelemenls 2329, optisch gesehen, rolalionssymmetrisch zur Sehachse. Was den Absland zur Linse 2382 betrifft, gibt es verschiedene Möglichkeiten, den notwendigen Abstand zu bestimmen. Zum Beispiel kann eine optische oder akustische Vermessung der Hornhaut 2383 vorgenommen werden, deren Krümmung einen sehr guten Richtwert für die richtige Anordnung des Zusatzelemenls 2329 angibt. Es können auch Netzhaut- oder Hornhaulreflexbilder zumindest partiell erfaßt werden, und anhand eines Vergleichs der Reflexbilder mit dem über das Zusatzelemenl 2329 erfaßten Licht der richtige Abstand bestimmt werden.
Aufgrund der sphärischen oder sphärisch wirkenden Realisierung, beispielsweise durch eine holographische Beschichtung, der teilsrcflcktierenden Oberfläche des Zusatzelements 2329 sowie durch diese konfokalc Anordnung des Zusatzclements zum Auge 2380 sind lediglich diejenigen Strahlen 2333a-2333c, die senkrecht auf die Oberfläche des Zusatzelements 2329 fallen, konfokal zum optischen System des Auges 2380 und stimmen somit mit den auf die Netzhaut fallenden Strahlen überein.
Wenn die Ausfuhrungsform gemäß Figur 23 mit einer "eye-tracking"-
Funktion ausgestattet wird, ist es wiederum erforderlich, dass die Spiegel KS1 und
KS2 vom "eye-tracker" entsprechend dem Ergebnis der Positionsbestimmung der Makulamitte nachjustert werden, wobei gegebenenfalls eine synchronisierte
Nachjustierung des Zusalzelements 2329 vorgenommen werden, um für den Fall größerer Augenbewegungwinkel die Konfokalität des Zusatzelemenls 2329 zum Auge wie zuvor beschrieben aufrecht zu erhalten.
Figur 24
Figur 24 zeigt eine Draufsicht (Fig. 24A) und eine Frontansicht (Fig. 24B) einer Brille 2420 gemäß einem weiteren Ausführungsbeispiel, bei dem zwei Sensorvorrichtungen 2461R und 2461L, beispielsweise zwei Festkörper-Kameras, zum Beispiel CCD- oder TTL-Kameras, zwecks weiterer Signalerfassung, insbesondere aus dem sichtbaren Blickfeld, vorgesehen sind. Die Figur 24B zeigt auch das linke und rechte Auge 2480L bzw. 2480R eines möglichen Trägers 2402 der Brille 2420. Der Übersichtlichkeit halber sind jedoch keine anderen Merkmale des Benutzers 2402 in der Figur 24B dargestellt.
Um das Auftreten einer Parallaxe zwischen den von der jeweiligen Kamera
2461R, 2461L und dem ihr zugeordneten Auge erfaßten bzw. wahrgenommenen Bildern zu vermeiden, sollen die Kameras 2461 den Augen bezüglich ihrer "Sehachsen" möglichst achsengleich angeordnet sein. In Anbetracht der Systemgröße solcher Festkörper-Kameras 2461 hat es sich beim heuligen Stand der Technik als sinnvoll erwiesen, die Kameras 2461 wie abgebildet im vorderen Bereich der jeweiligen Bügelteile 2421L, 2421R anzuordnen. Auch eine Montage im Bereich des Nasenstegs 2422, z.B. in den Pads 2425, ist sinnvoll. Nach einer weiteren Miniaturisierung können die Festkörper-Kameras 2461 im Brillengestell über den jeweiligen Brillengläser 2424L, 2424R angeordnet werden, um eine weitere Achsengleichheit zu erreichen. Es ist absehbar, daß Festkörper- oder andersartige Lichterfassungssysteme in der Zukunft in das Brillenglas 2424, das selbstverständlich auch ein Kunststoff oder sonstiger lichtdurchlässiger Stoff sein kann, werden eingebaut werden können. Eine solche Anordnung der Kameras 2461 würde eine mit dem jeweiligen Auge 2480L, 2480R achsengleiche, beinah konfokale Signalerfassung ermöglichen.
Bei einer achsenungleichen Anordnung der Sensorvorrichtungen 2461 zu den jeweiligen Augen 2480L, 2480R sollen die aus den Sensorvorrichtungen 2461 gewonnenen Informationen gegebenenfalls in Korrelation mit den Augen 2480 gebracht werden. Eine solche Korrelation ist insbesondere dann wichtig, wenn die
Sensorvorrichtungen 2461 durch Kameras 2461 realiziert werden, und ein Überlagerungsbild anhand aus den Kameras 2461 gewonnener Bildinformationen in das jeweilige Auge 2480L, 2480R projiziert werden sollen.
Wird das von den Kameras 2461 aufgenommene Bild einfach auf das jeweilige Auge 2480L, 2480R projiziert, so kommt es zur sogenannten Parallaxe, bei der das "Gesichtsfeld" der jeweiligen Kamera 2461L, 2461R nicht mit dem natürlich wahrgenommenen Gesichtsfeld übereinstimmt. Insbesondere bei einer von der Ruhestellung abweichenden Verdrehung der Augen 2480 oder bei im näheren Gesichtsfeld liegenden Gegenständen würde die Parallaxe bei einer Überlagerung zu einer abnormalen Wahrnehmung führen. Denn in solchen Fällen läge die Sehachse des Auges 2480 schräg zur "Sehachse" der jeweiligen Kamera 2461L, 2461R.
Bei der Korrelation in diesem Sinne wird nur der Teil des von den Kameras 2461 erfaßten Bildes in das jeweilige Auge 2480L, 2480R projiziert, der in entsprechender "Korrelation" zur Sehachse des jeweiligen Auges 2480L, 2480R liegt. Im einfachsten Fall wird durch die Signalerfassungsvorrichtung 2451 ein zumindest partielles Reflexbild des Gesichtsfeldes vom jeweiligen Auge 2480L,
2480R erfaßt. Kennzeichnende Bildpunkte, die sowohl im erfaßten Reflexbild als auch in den von den Kameras 2461 erfaßten Bilder aufzufinden sind, dienen dann als Referenzpunkte für eine perspektivisch richtige Projektion der von den Kameras
2461 erfaßten Bildinformationen auf das Auge 2480. Ähnlich können die aus dem
Auge 2480 erfaßten Signale dazu dienen, die Blickrichtung des jeweiligen Auges
2480L, 2480R bezüglich dem Koordinatensystem der Brille 2420 zu bestimmen, um aus diesen Winkelinformationen eine mathematisch basierte Korrelation zu durchführen.
Allerdings ist eine Korrelation auch bei Systemanwendungen sinnvoll, bei denen die Augen 2480 an der Wahrnehmung des Gesichtsfeldes gehindert werden. Dies ist beispielsweise bei der Anwendung einer geschlossenen, sogenannten 'Virtual reality" Brille 2420 (wie abgebildet, allerdings mit lichtundurchlässigen Gläsern 2424) der Fall, bei der den Augen 2480 lediglich ein künstlich erzeugtes Bild präsentiert wird. Im einem solchen Fall könnte die besprochene Korrelation zum Beispiel darin bestehen, daß die Blickrichtung des Auges 2480 wie oben beschrieben erfaßt wird, und daß ein der Orientierung des jeweiligen Auges 2480L, 2480R entsprechendes, virtuell erzeugtes Bild hineinprojiziert wird. Allerdings dient hier die Brille 2420 als Koordinatensystem. Wird jedoch noch die Lage und Orientierung der Brille 2420, beispielsweise anhand der von der Kameras 2461 erfaßten Bildern, ermittelt, so kann eine Korrelation zwischen dem jeweiligen Auge 2480L, 2480R und der Umgebung hergestellt werden. Ein solches System ließe sich beispielsweise in einem virtuellen Erlebnishaus, ähnlich einem Geisterhaus, anwenden. Jedem, der gerade auf einem Laufband geht, könnte zum Beispiel ein virtuelles Bild in die Augen projiziert werden, das ihm das Gefühl verleiht, er liefe auf schwimmenden Baumstämmen inmitten eines wilden Flusses.
Um bei der Ausführungsform nach Figur 24 die "eye-tracking "-Funktion wahrnehmen zu können, werden die in Figur 24 nicht näher bezeichneten Umlenkspiegel der Signalerfassungs- und Projektionsvorrichtung so angesteuert, dass diese an die momentane Sehachse angepasst wird.
Es soll an dieser Stelle hervorgehoben werden, dass das vorstehend anhand der Figuren 19 bis 24 beschriebene Informationssystem nicht unbedingt mit einer kombinierten Signalerfassungs- und Projektionsvorrichtung arbeiten muß. Es ist gleichermaßen möglich, mit einer Ausführung des Systems zu arbeiten, bei der die Signalerfassungsvorrichtung von der Projektionsvorrichtung getrennt ist bzw. bei dem eine der beiden Vorrichtungen fehlt.
Figur 25
Die Figur 25 zeigt ein optisches System gemäß einem weiteren Ausführungsbeispiel, bei dem ein Kippspiegel 2555 ein Umschalten zwischen einer
Aufnahme aus dem Gesichtsfeld und einer Aufnahme aus dem Auge 2580 oder einer Projektion auf die Netzhaut 2581 ermöglicht.
Der Vorteil dieses optischen Systems liegt darin, daß die gleichen Taumelspiegel 2554H und 2554V für eine Aufnahme aus dem Gesichtsfeld und ür eine Projektion auf die Netzhaut 2581 verwendet werden können, und daß der Strahlengang für eine Aufnahme aus dem Gesichtsfeld und der Strahlengang für eine Aufnahme aus dem Auge 2580 bzw. eine Projektion auf die Netzhaut 2581 dementsprechend zum Großteil identisch sind. So wird schon durch das optische System eine hohe Korrelation zwischen dem aus dem Gesichtsfeld erfaßte Licht und den aus dem Auge erfaßten Signale bzw. eine hohe Korrelation zwischen dem aus dem Gesichtsfeld erfaßte Licht und dem auf die Netzhaut projizierte Bild erzielt. Das heißt, es werden keine zusätzliche Korrelationsfehler dadurch versucht, daß die besprochenen Strahlengänge über verschiedene Taumelspiegel verlaufen, die unterschiedliche Rotationschar akteristika aufweisen könnten. Für Lichterfassung aus dem Gesichtsfeld und Lichterfassung aus dem Auge kann sogar die gleiche Lichterfassungvorrichtung 2551 verwendet werden. Lediglich durch die Reflektion am Brillenglas 2524 und das optische System des Auges 2580 kann die Korrelation negativ beeinflußt werden.
Die "eye-tracking"-Funktion wird bei dieser Ausführungsform dadurch realisiert, dass die Taumelspiegel 2554H und 2554V analog zu der Nachstellung, wie sie anhand der Figur 8 beschrieben wurde, nachjusteiert werden.
Nic t-dargestellte Ausführungsbeispiele
Die Anordnung zur Anpassung eines optischen Systems an die Blickrichtung des Auges ist auch in weiteren Systemen, insbesondere in Informationsystemen, sinnvoll, die nicht näher dargestellt sind. Ergänzend zu den in den Figuren dargestellten Ausführungsbeispielen werden nachstehend weitere möglichen Ausführungsformen derartiger Informationssysteme zwecks einem besseren Verständnis der Erfindung beschrieben.
TV / Zeitung
Bisherige elektronische Bücher bzw. Zeitungen haben den Nachteil, zu schwer und/oder zu unhandlich zu sein, und können außerdem nur eine begrentze Informationsmenge pro Seite darstellen. Auch tragbare Video- und Fernsehgeräte sind schwer und/oder unhandlich. Wird das erfindungsgemäße Informationssystem derart ausgebildet, daß das Zuverfügungstellen von Informationen eine Projektion von Bildinformationen in das Auge umfaßt, so lassen sich verschiedene visuell bezogene Medien, beispielsweise elektronische Bücher oder Zeitungen, Fernsehen oder Videospiele, durch das Informationssystem verwirklichen. Dabei wird das erfindungsgemäße Informationssystem zum Beispiel, wie oben beschreiben, in Form einer tragbaren Brille realisiert, die über eine Kabel-, Infrarot- oder Funkverbindung beispielsweise an ein Informationsnetz, eine tragbare Speichervorrichlung, zum Beispiel ein CD-ROM- oder DVD-Lesegerät, oder eine sonstige Informationsquelle angeschlossen werden kann.
Ein Vorteil einer derartigen Ausbildung des erfindungsgemäßen Informationssystems liegt darin, daß seine Erfassung von Signalen aus dem Auge in Zusammenhang mit seiner Gesichtsfelderfassung eine Projektion ermöglicht, bei dem der projizierte Text bzw. die projizierte Bilder im Raum fixiert zu sein scheint. Hier kann der vorstehend beschriebene "eye-tracker" herangezogen werden, der eine Ermittlung der Korrelation der Sehachse zum Blickfeld ermöglicht, und der die Projektion entsprechend steuern kann, so daß die auf das Auge projizierten Informationen vis-a-vis dem Blickfeld trotz Bewegungen des Auges unbeweglich zu sein scheinen. Die Ermittlung der Korrelation der Sehachse zur Umgebung kann auch durch in der Brille angebrachte Lagesensoren unterstützt werden.
Der virtuelle Ort der Fixierung kann beispielsweise über eine Fixierung mit den Augen in Zusammenhang mit einem Augenzwinkern oder Tastendruck oder auch automatisch, zum Beispiel mittels einer bildverarbeilcnden Auswertung des Blickfelds, die ein möglichst inhaltsarmes Gebiet des Blickfelds ermittelt, festgelegt werden. Die störende Wirkung des durch die Projektion der Informationen nicht notwendigerweise abgedeckten, natürlichen Gesichtsfeldes ließe sich durch ein farbkomplementäres "Auswischen" verringern, bei dem komplementärfarbige Bildpunkte anhand des aus dem Gesichtsfeld erfaßten Lichts ermittelt werden, deren korrelierte Projektion auf die jeweilig zugeordnete Gebiete der Netzhaut den natürlichen Hintergrund durch Farbaddition als weiß erscheinen läßt. Ist ein schwarzer Hintergrund erwünscht, so muß, wie zuvor beschrieben, die empfundene Gesamthelligkeit der Projektion die empfundene Gcsamthclligkeit des natürlichen Gesichtsfeldes um ca. 24% bis 20% überschreiten, damit auch die hellsten Punkte des natürlichen Gesichtsfeldes als schwarz empfunden werden.
Zu Bedienungszwecken könnten Bildinformationen, die virtuelle Bedienungsknöpfe darstellen, derart in das Auge hineinprojizierl werden, daß sie in der Nähe des Textes bzw. Bildes im Gesichtsfeld ebenso fixiert erscheinen. Somit ließe sich das virtuelle Informationsmedium mittels Anvisieren des entsprechenden Bedienungsknopfes mit der Fovea centralis plus Tastendruck oder Augenzwinkern fernbedienen, d.h. Umblättern, Vorspulen, Zurückspulen, o.a. Ähnlich könnte ein Zugriff auf Lexika, Datenbanken, u.s.w. durch das Anvisieren von dargestellten Wörtern oder Bildteile ermöglicht werden. Anstatt Bedienungsknöpfe ließe sich das Informationssystem beispielsweise auch über eine Menüführung bedienen, bei der Bedienmenüs bei der Betrachtung bestimmter Bildbereich "aufspringen", um ein augengesteuertes Auswählen aus dem ggf. hierarchisch aufgebauten Menü zu ermöglichen. Die Erkennung dieses "Anvisierens" wird durch den "Eye-Tracker" unterstützt, der dem Info-System über die Lage der Makulamitte in Kenntnis setzen kann.
Ein weiterer Vorteil einer derartigen Ausbildung des erfindungsgemäßen
Informationssystems liegt darin, daß die für eine ausreichende momentane Darstellung notwendige Datenmenge bei weitem geringer ist, als die Datenmenge, die für hochauflösende Darstellung des gesamten Gesichtsfeldes notwendig wäre. Dies liegt der Tatsache zugrunde, daß das Informationssystem den Bereich des schärfsten Sehens aufgrund der vorstehend beschriebenen Ermittlung der Makulamitte kennt. Somit müssen nur diejenigen Teile der Projektion mit hoher Auflösung erfolgen, die den Bereich der Fovea centralis betreffen. Auf sonstige Gebiete der Netzhaut genügt eine Projektion mit geringer Bildpunktdichte. Dementsprechend reduziert sich die für eine momentane Darstellung notwendige Datenmenge, was deutliche System vorteile mit sich bringt. Insbsondere läßt sich die empfundene Größe des projizierten Bildes beliebig wählen, ohne daß unbearbeitbar große Datenmengen zur Präsentation des momentanen Bildes die Folge sind.
Ist das projizierte Bild größer als das Gesichtsfeld, dann bestimmt die momentane Sehachse den Bildausschnitt. Die Projektion erfolgt derart, daß der aktuelle Bildausschnilt den gesamten aktiven Bereich der Netzhaut füllt. Durch Augenbewegung können weitere Ausschnitte des Bildes in das Gesichtsfeld hineingebracht werden. Ist das projizierte Bild kleiner als das Gesichtsfeld, so muß lediglich auf einen beschränkten Teil der Netzhaut projiziert werden. Wird der natürliche Gesichtfeldhintergrund nicht ausgeblendet, so ändert sich dieser bei Augenbewegungen. Insbesondere bei fernseh- oder kinoartigen Informationsdarstellungen ist eine das Gesichtsfeld genau lullende Projektion bevorzugt. Werden Signale aus beiden Augen eines Benutzers erfaßt, so kann die Projektion stereoskopisch erfolgen, wobei jedem Auge ein derart geringfügig unterschiedliches Bild zugespeist wird, daß das Gehirn ein dreidimensionales Gesamtbild wahrzunehmen glaubt. Somit ließe sich eine optimale System-Mensch- Schnittstelle beispielsweise für 3D-Fernsehen, 3D-Videospiele, SD-CAD- Anwendungen oder sonstige, insbesondere interaktive, 3D-Anwendungen verwirklichen. Bevorzugt umfaßt das Informationssystem weitere Bedienelemente, zum Beispiel ein Steuerknüppel, Pedal oder Lenkrad, die eine Navigation bzw. Perspektivwechsel innerhalb des dargestellten virtuellen Bildes oder eine sonstige Beeinflussung der Informationsdarbietung oder eines mit der Informationssystem verbunden Systems ermöglicht. Wie zuvor beschrieben, kann auch das Auge selbst als Bedienelement fungieren.
Unter entsprechender Anwendung der vorstehend für die Positionierung einer elektronischen Zeitung an einem virtuellen Ort erforderlichen Maßnahmen ist es gleichermaßen möglich, dem Träger des erfindungsgemäßen Informationssystems andere Orientierungshilfen auf die Netzhaut zu spielen, wie z.B. einen künstlichen
Horizont.
Ophthamologische Anwendungen / Sehhilfen
Aufgrund ihrer Erfassung aus dem Auge, zurückreflcktierter Signale eignen sich die vorstehend beschriebenen Informationssysteme zur Ausgestaltung als ophthamologisches System. Zum Beispiel läßt sich das Informationssystem als Positioniersystem für die ophthamologische Chirugie, insbesondere für die ophthamologische Laserchirugie, realisieren. Auch als ophthamologisches Diagnosesystem, Sehhilfesystem und/oder Sehfehlerkorrektursy stein findet das erfindungsgemäße Informationssystem beispielsweise Anwendung.
Die meisten Strukturen oder Organe des Auges sind im Vergleich zu manuellen Bewegungen sehr klein. Erkrankungen und Beschädigungen dieser Strukturen bzw. Organe betreffen häufig nur einen kleinen, mikroskopischen Bereich. Im Gegensatz zu vielen anderen Körperpartien lassen sich die Augen jedoch nicht fixieren, was die Behandlung evtl. Erkrankungen oder Verletzungen des Auges besondere erschweren. Aufgrund der Fähigkeit der vorstehend beschriebenen Systeme, insbesondere des "Eye-Trackers", Bewegungen des Auges genau verfolgen und Informationen bezüglich der augenblicklichen Stellung des Auge auch anderen Systemen zur Verfügung stellen zu können, lassen sich diese Schwierigkeiten durch ein therapeutisches System auf der Basis der vorstehend beschriebenen Systeme überwinden. Zum Beispiel kann das therapierende System derart mit einem vorstehend beschriebenen optischen System zwecks Informationsaustausch verbunden sein, daß Informationen bezüglich der augenblicklichen Stellung des Auge dem therapierenden System zur Verfügung gestellt werden, so daß eine punktgenaue automatisierte Therapie des Auges auch bei bewegten Augen erfolgen kann.
Gemäß einem anderen Ausführungsbeispiel wird ein therapierender Laserstrahl über das optische System gelenkt. Eine Lascrbehandlung des Auges, insbesondere der Netzhaut, kann somit auf gleiche Art wie. eine wie zuvor beschriebene Projektion erfolgen. Beispielsweise können krankhafte Adern der Aderhaut dadurch verödet werden, daß ein photoempfindliches Mittel eingespritzt oder eingenommen wird, und daß krankhafte Stellen der Aderhaut über mehreren zehn Sekunden punktgenau bestrahlt werden.
Um als Sehhilfe- und/oder Sehfehlerkorrektursystem Anwendung zu finden, kann die Ausgabevorrichtung des optischen Systems eine Projektionvorrichtung aufweisen, die sichtverbessernde Bildinformationen auf die Netzhaut projiziert. Zudem kann die Informalionsvorrichtung eine Auswertevorrichtung umfassen, die die sichtverbessernde Bildinformationen anhand des aus dem Gesichtsfeld erfaßten Lichts ermittelt. Die sichlverbessernden Bildinformationen werden bevorzugt unter Berücksichtigung der vom "Eye-Tracker" gewonnenen Augenlageninformationcn derart in Korrelation mit den aus dem Auge erfaßten Signalen auf die Retina projiziert, daß das natürlich wahrgenommene Gesichtsfeld und die projizierten Bildinformationen als einheitliches Bild wahrgenommen werden. Im Extremfall werden die sichtverbessernden Bildinformationen derart auf die Retina projiziert, daß das ansonsten natürlich wahrgenommene Gesichtsfeld vom Auge gar nicht wahrgenommen wird. Wie zuvor beschrieben, kann der Grad der Wahrnehmung eines so projizierten Bildes im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der projizierten Bildpunkte gesteuert werden. Durch ein derartiges Informationssystem läßt sich beispielsweise eine Sehfehlerkorrektur für Kurz- oder Weitsichtige sowie bei Farbsehschwäche durchführen, wobei über die "eye-tracking"-Funktion die Möglichkeil besieht, die Sehfehlerkorrektur in Abhängigkeit von der Augenslellung vorzunehmen. Bei der Korrektur einer Kurz- bzw. Weitsichtigkeit kann das Informationssystem auf eine (quasi-)festen Korrektur eingestellt werden, eine veränderbare Korrektur ermöglichen, oder sich dynamisch auf den Sehfehler automatisch einstellen. Die Korrektur erfolgt über ein ggf. einstellbares optisches Fokussiersyslem innerhalb der Projektionsvorrichtung oder durch bildverarbeite ndc Maßnahmen. Letzleres läßt sich mit geringem Syslemaufwand realisieren. Bezüglich der Implementierung mit (quasi-)fester oder veränderbarer Korrektur wird zur Kürzung der Beschreibung auf die Ausführungen in den älteren Anmeldungen PCT/EP00/09840, PCT/EP00/09841 und PCT/EP00/09843 verwiesen, deren Inhalt in die vorliegende Offenbarung ausdrücklich einbezogen werden soll. Entsprechendes gilt für die Eingliederung einer entsprechend programmierten Auswertevorrichtung, mit der Auskunft über viele ophthamologisch relevanten Eigenschaften des Auge gegeben werden können.
Helme
Auch hinsichtlich der Anwendung des optischen Systems in Helmen wird auf die Ausführungen in den älteren Anmeldungen PCT/EP00/09840, PCT/EP00/09841 und PCT/EP00/09843 verwiesen, deren einschlägiger Inhalt in die vorliegende Offenbarung ausdrücklich einbezogen werden soll. Diese Helme lassen sich problemlos mit den voratehend beschriebenen Vorrichtungen kombinieren, die die "eye-tracking "-Funktion ausführen.
Wenn die Informationsvorrichtung beispielsweise einen GPS-Empfänger aufweist, so könnte der Helm Positionsinformationen oder Orientierungshilfen auf die Netzhaut projizieren. Bevorzugt erfolgt die Projektion solcher Informationen ins Auge ähnlich der Projektion einer elektronischen Zeitung. Das heißt, es wird eine Ablenkung des Soldaten dadurch vermieden, daß das Bild der Informationen im Raum oder vis-ä-vis einer neutralen Stellung des Auges fixiert zu sein scheint, wobei auch hier in vorteilhafter Weise von der "eye-tracking"-Funklion Gebrauch gemacht wird. Auch wenn eine Funk- oder sonstige Datenübertragung vom Soldaten aus an eine Kommandozentrale aus strategischen Tarnungsgründen generell zu vermeiden gilt, könnte in bestimmten Fällen auch eine Übertragung von mit den
Augenbewegungen des Soldaten korrelierte Gesichlfelddatcn an eine Kommandozenlrale sinnvoll sein.
In einer für Soldaten besonders interessanten Ausführungsform kann die Informalionsvorrichtung eine oder mehrere Kameras aufweisen, die Bilder von außerhalb des Gesichtsfeldes erfassen. Die so gewonnenen Bildinformationen werden dann über eine Projektionsvorrichtung auf die Retina projiziert. Das auf das Gesichtsfeldbild projizierte Zusatzbild könnte zum Beispiel als Bild im Bild als kleines Bild in die Ecke des natürlichen oder projizierten Gesichtsteldbildes projiziert werden oder als Längstreifen am unteren Rand erscheinen. Dabei dient die Erfassung von Signalen aus dem Auge zusammen mit der Gesichtsfelderfassung dazu, die projizierten Bilder in Korrelation mit den Bewegungen des Auges zu halten. Mittels der integrierten "eye-tracking"-Funktion kann sichergestellt werden, dass das projizierte Zusatzbild eine vorbestimmte Lage unabhängig von der Blickrichtung beibehält.
Selbstverständlich sind Abweichungen von den zuvor beschriebenen
Ausführungsformen möglich, ohne den Grundgedanken der Erfindung zu verlassen.
So ist die gesamte Beschreibung der verschiedenen Ausführungsformen unter der Prämisse erfolgt, dass sich die Retina bei einer Augenbewegung in einer Ebene bewegt. Tatsächlich aber bewegt sie sich zusammen mit dem Auge und entsprechend der Augapfelkrümmung räumlich, so dass vorzugsweise Maßnahmen ergriffen werden, um die sich dadurch möglicherweise ergebenden leichten
Verzerrungen des abgetasteten Bilds der Retina zu kompensieren. Eine solche Maßnahme könnte darin bestehen, die von der Retina gespeicherten Bilddaten immer wieder neu zu überspeichern, d.h. den gespeicherten und zu
Vergleichszwecken heranzuziehenden Datensatz zu aktualisieren, wenn sich aufgrund derartiger Bildverzerrungen Probleme bei der Lageerkennung ergeben.
Eine Alternative besteht darin, weitere Elemente im optischen System, wie z.B. den Strahlteiler bzw. das Brillenglas und/oder das Zusatzelement (vgl. Figur 23) zusätzlich einstellbar zu gestalten, um dadurch den Verzerrungen des Bildes entgegen zu wirken.
Das Auftreten von Verzerrungen bringt jedoch nicht nur Nachteile mit sich. Es können aus den Verzerrungen auch wertvolle Erkenntnisse gewonnen werden. Sind zum Beispiel die größere Blutgefäße der Retina bei einer bestimmten Relativlage des Auges vis-a-vis des Scansystems weitreichend kartographiert worden, d.h. ist der Verlauf dieser Blutgefäße in Bezug auf ein bestimmtes Koordinatensystem weitreichend dokumentiert worden, dann läßt sich aus der Verzerrung des erfaßten Bildes der später erkannten, relinalen Blutgefäße auf die Relativverzerrung des aufgrund der Augenverdrehung geänderten Koordinatensystems gegenüber dem zuvor bestimmten Koordinatensystem schließen. Aus der Kenntnis der Relativverzerrung könnten die zu projizierenden und/oder die abgetasteten Bilddaten beispielsweise durch Bildverarbeitungsmaßnahmen vorentzerrt bzw. entzerrt werden, so daß das projizierte Bild trotz Verzerrung verzerrungsfrei auf die Retina erscheint bzw. aus dem verzerrt abgetasteten Bild eine verzerrungsfreies Bild entsteht. Die für eine Kompensierung einer Koordinatensystemsverzerrung heranzuziehenden Maßnahmen sind dem mathematisch ausgebildeten Bildverarbeitungsfachmann geläufig.
In der Beschreibung wurde an verschiedenen Stellen von einem Scanstrahlengang des optischen Systems gesprochen. Es ist aber hervorzuheben, dass die Erfindung mit allen Systemen verwendbar sein soll, bei denen die Retina unter Verwendung einer vom System umfaßten Lichtquelle beleuchtet und somit aktiv gescannt und/oder passiv unter Ausnutzung des Umgebungslichtes abgetastet wird.
Die Bildinformation über die Retinastruktur wird mit den beschriebenen Ausführungsformen vorzugsweise auf der Basis eines Infrarotsignals gewonnen. Es könnte aber auch auf grundsätzlich anderer Basis gewonnen werden, wie z.B. durch ein anderweitig, wie etwa durch eine Gesamtaufnahme, beispielsweise mittels einer CCD-Kamera, gewonnenes Bild der Retina oder beispielsweise dadurch, dass für die Abtastung andere akustische oder elektromagnetische Wellen, wie z.B. nicht sichtbares Licht Anwendung findet, wobei allerdings sichergestellt sein muß, dass der Wellenlängenbereich so gewählt ist, dass das optische System des Auges für diesen Wellenlängenbereich durchlässig ist. Alternativ kann auch eine Wellenlänge im sichtbaren Spektrum gewählt werden, wobei vorzugsweise sicherzustellen ist, dass das Energieniveau dieses Lichts (Intensität und Impulsdauer) so gewählt ist, dass es unterhalb der Helligkeitsschwelle des Auges bleibt, was beispielsweise durch zeitlich extrem kurze Impulse erreichbar wäre.
In der Beschreibung der Ausführungsformen wir bei der Abtastung der Retina und/oder eines auf das Auge einfallenden Bildes von einem Scanstrahl gesprochen. Dies soll den Schutzbereich aber nicht auf eine aktive Abtastung einschränken. Abgedeckt sein soll damit allgemein die punktuelle serielle Erfassung von Information aus dem Auge, um zumindest bereichsweise Information über die Struktur der Retina und/oder des auf das Auge einfallenden Bildes zu zu erhallen. Diese punkluelle serielle Erfassung kann durch eine nichtserielle Erfassung solcher Informationen ergänzt werden. In den Ausführungsbeispielen wird häufig von kartesischen Koordinaten ausgegangen. Selbstverständlich könnte anstelle eines kariesischen Koordinatensystem jede beliebige Koordinatensystem verwendet werden. Insbesondere ist es anstelle des Vergleichs der kartesischen Koordinaten für die charakteristischen Bereiche der Retina auch möglich, mit Signalsequenzen zu arbeilen, die unter Zugrundelegung eines Polarkoordinalensystems beim Abtasten der Retina auf einem vorbestimmten Radius bezogen auf den Makulamittelpunkt in einem vorbestimmten Zentriwinkelbereich erfasst und aufgezeichnet werden.
Um die Startphase des Abtaslvorgangs zuverlässiger durchführen zu können und um insbesondere wirksam sicherzustellen, dass ein kurzzeitig geschlossenes Auge erkannt und der Ablaslvorgang noch nicht eingeleitet wird, ist es von Vorteil, Erwartungswerte für die beim Überstreichen des Augenlids und/oder des Auges zu erwartenden Färb- oder Grauwerte zu hinterlegen und das erfaßte Signal mit diesen Werten zu vergleichen.
Folgende Merkmale der Erfindung sind allein für sich und in Kombination miteinander von entscheidender Bedeutung:
1. Verfahren zur Anpassung eines optischen Systems, insbesondere eines Systems zur Abgabe von Signalen in Abhängigkeit von auf die menschliche
Netzhaut einfallender Bildinformation, an die Blickrichtung des Auges, wobei das optische System ein Scansystem zur Abtastung des Auges, insbesondere der Netzhaut, hat und in vorbestimmten Zyklen gemäß einem vorbestimmten Bewegungsmuster abtastet und/oder eine Projektion vornimmt, wobei a) das Bewegungsmuster () des Scanstrahlengangs () in Abstimmung mit den Abtastzyklen, vorzugsweise je nach Bedarf im Takt der Zyklen und gegebenenfalls in modilϊerter Form zur Bestimmung der PupiUenmitte () und/oder der Makulamitte () herangezogen wird; und anschließend b) das optische Zentrum des Bewegungsmusters in die Pupillen-() oder Makulamitte () verlegt wird.
2. Verfahren nach Punkt 1, dadurch gekennzeichnet, daß die Erfassung bzw. Bestimmung der Pupillen- oder Makulamitte () auf der Basis eines zweidimensionalen Scanbewegungsmusters erfolgt, indem die beim Abtasten erfassten Grauwerte in zwei Koordinaten ausgewertet werden .
3. Verfahren nach Punkt 2, dadurch gekennzeichnet, dass das zweidimensionale Scanbewegungsmuster zumindest abschnittsweise mehrfach, insbesondere so lange wiederholt durchfahren wird, bis eindeutige Werte für die Koordinaten der Pupillen- oder Makulamitte () vorliegen.
4. Verfahren nach Punkt 3, dadurch gekennzeichnet, daß der zweidimensionale Scanvorgang zur Bestimmung der Pupillen- oder Makulamitte () abgebrochen wird, wenn sich die bei einem zusammenhängenden, zumindest 360° durchlaufenden Scanbewegungsabschnitt () erfassten Grauwerte nicht mehr über einen vorgegebenen Schwellwert hinaus verändert haben.
5. Verfahren nach einem der Punkte 1 bis 4, dadurch gekennzeichnet, daß dem Bewegungsmuster des Scanstrahls zur Bestimmung der Pupillen- oder Makulamitte ein Startmuster () vorgeschaltet wird, das von einem BezugspunktQ am optischen System () ausgeht und durch Auswertung der vom Abtaslstrahl () erfassten Grauwerte in zwei Koordinaten zur Grobbestimmung der Pupillenmitte () herangezogen wird.
6. Verfahren nach Punkt 5, dadurch gekennzeichnet, daß die bei der Grobbestimmung der Pupillenmitte () ermittelten Werte bei der Festlegung des Bewegungsmusters für die anschließende Abtastbewegung zur genauen Bestimmung der Pupillen- oder Makulamitte () verwendet werden.
7. Verfahren nach Punkt 5 oder 6, dadurch gekennzeichnet, daß das Bewegungsmuster () zur Grobbestimmung der Pupillenmitte () mindestens drei lineare () Bewegungsabschnitte ( , , ) umfasst, wobei sich an einen vorzugsweise vom Bezugspunkt () ausgehenden ersten Bewegungsabschnitt (), der einen Übergang zwischen Iris () und Lederhaut des Auges zweimal schneidet ein zweiter Bewegungsabschnitl () anschließt, der die Mittelsenkrechte () einer ersten Sekante () enthält, welche der erste Bewegungsabschnitt () bezüglich der Iris bildet, wobei der dritte Bewegungsabschnilt () seinerseits auf dem zweiten Bcwegungsabschnilt () senkrecht steht und entweder durch das Zentrum der während des zweiten Bewegungsabschnitts über die erfassten Grauwerte bestimmten Pupille verläuft oder eine vom zweiten Bewegungsabschnitt bezüglich der Iris gebildete zweite Sekante () mittig schneidet.
8. Verfahren nach Punkt 7, dadurch gekennzeichnet, daß der Punkt, an dem der dritte Bewegungsabschnitt () die Iris zum zweiten Mal schneidet als Startpunkt () für den Abtastvorgang zur genauen Bestimmung der Pupillen- oder Makulamitte () herangezogen wird.
9. Verfahren nach einem der Punkte 1 bis 7, dadurch gekennzeichnet, daß zur Feinbestimmung der Makulamitte () und/oder -Struktur der Scanstrahl ausgehend von den bei der Bestimmung der PupiUenmitte () erhaltenen Koordinaten auf einer Kreis- oder Ellipsen-Spirale oder auf konzentrischen Kreisen oder Ellipsen so lange nach außen bewegt wird, wobei diese Bewegungen so lange wiederholt werden, bis eindeutige Werte zur Festlegung des Durchmessers und/oder der Mitte der Makula vorliegen.
10. Verfahren nach Punkt 9, dadurch gekennzeichnet, daß der zweidimensionale Scanvorgang zur Feinbestimmung der Makulamitte () und/oder - Struktur abgebrochen wird, wenn die bei einem zusammenhängenden, zumindest 360° durchlaufenden Scanbewegungsabschnitt () erfassten Grauwertc mehrfach einen Signalsprung von WEISS auf SCHWARZ und umgekehrt aufweisen. 11. Verfahren nach einem der Punkte 1 bis 10, dadurch gekennzeichnet, daß zur Bestimmung der räumlichen Position des Auges bezüglich des optischen Systems () zusätzlich die Relativlage mindestens eines weiteren charakteristischen Bereichs der Retina bezüglich des optischen Systems () ermittelt wird, und dass auf der Basis der Abweichungen der ermittelten Lagedaten (Koordinaten ; Sequenz von Koordinaten ) dieses charakteristischen Bereichs von zuvor gespeicherten Lagedaten (Koordinaten ; Sequenz von Koordinaten ) das Bewegungsmuster des Abtast- und/oder Projektionsstrahlengangs () derart nachjustiert wird, dass die Abweichung zu null wird.
12. Verfahren nach Punkt 11, dadurch gekennzeichnet, dass das Bild zumindest ausgewählter Bereiche der Retina, in einem Zwischenspeicher (map) beispielsweise in Form eines die Koordinaten wiedergebenden Datensatzes abgelegt wird, und dass zur Bestimmung der räumlichen Position des Auges bezüglich des optischen Systems () ein Vergleich des abgelegten Datensatzes mit einem Datensatz vorgenommen wird, der bei einem aktuellen Scanvorgang beim Überstreichen der Retina gewonnen wird.
13. Verfahren nach Punkt 11 oder 12, dadurch gekennzeichnet, daß als charakteristischer Bereich der Blinde Fleck des Auges herangezogen wird.
14. Verfahren nach Punkt 11 oder 12, dadurch gekennzeichnet, daß als charakteristischer Bereich zumindest ein ausgewählter Abschnitt der Randstruktur der Retina () herangezogen wird.
15. Verfahren nach Punkte 11 oder 12, dadurch gekennzeichnet, daß als charakteristischer Bereich zumindest ein Abschnitt der Gefäßstruktur der Retina herangezogen wird.
16. Verfahren nach einem der Punkte 1 bis 15, dadurch gekennzeichnet, daß der Scanslrahlengang zur Bestimmung der Lage und Ausrichtung des Auges im Infrarotbereich arbeitet.
17. Vorrichtung zur Anpassung eines optischen Systems, insbesondere eines Systems zur Abgabe von Signalen in Abhängigkeit von auf die menschliche
Netzhaut einfallender Bildinformation, an die Blickrichtung des Auges, wobei das optische System ein Scansystem zur Abtastung des Auges, insbesondere der Netzhaut, hat und in vorbestimmten Zyklen entsprechend einem vorbestimmten Bewegungsmuster abtastet und/oder projiziert, gekennzeichnet durch a) eine Einrichtung, mit der das Bewegungsmuster () des Scanstrahlengangs () je nach Bedarf und im Takt der Zyklen veränderbar ist, um eine Bestimmung der Pupillenmitte () und/oder der Makulamitte () vorzunehmen; und b) eine Einrichtung () zur Nachführung des optischen Zentrums des Bewegungsmuslers des Abtast- und/oder Projektionsstrahlengangs in die ermittelte Pupillen-() oder Makulamitte ().
■ 18. Vorrichtung nach Punkt 17, gekennzeichnet durch eine zweidimensional arbeitende Scaneinrichtung () und eine Auswertecinrichtung (), mit der die vom Abtaslstrahl () erfassten Grauwerte in zwei Koordinaten () auswertbar sind.
19. Vorrichtung nach Punkt 18, gekennzeichnet durch eine Speichereinrichtung (), in der die Koordinaten der Pupillen- oder Makulamitte () bezüglich eines Bezugspunkts am optischen System () speicherbar sind.
20. Vorrichtung nach einem der Punkte 17 bis 19, gekennzeichnet durch eine Strahl-Leitanordnung (), mit der der Scan- und/oder Projektionsstrahl entsprechend dem Bewegungsmuster steuerbar ist, und durch eine Justier einrichtung, mit der eine neutrale Mittelstellung der Strahl-Leitanordnung () unter Heranziehung der Veränderung der Koordinaten der Pupillen- oder Makulamitte nachführbar ist.
21. Vorrichtung nach einem der Punkte 17 bis 20, gekennzeichnet durch eine Speichereinrichtung, mit der die Grob-Koordinaten der PupiUenmitte () entsprechend einer Grobbestimmung ihrer Lage speicherbar sind.
22. Vorrichtung nach einem der Punkte 17 bis 21, gekennzeichnet durch eine Strahl-Leitanordnung, mit der der Scanstrahl auf einer Kreis- oder Ellipsen- Spirale oder auf konzentrischen Kreisen oder Ellipsen bewegbar ist.
23. Vorrichtung nach einem der Punkte 17 bis 22, gekennzeichnet durch eine Einrichtung zur Bestimmung der Relativlage mindestens eines weiteren charakteristischen Bereichs der Retina () bezüglich des optischen Systems (), eine Vergleichereinrichtung, mit der die Abweichung der ermittelten Koordinaten () dieses charakteristischen Bereichs von einem zuvor gespeicherten Wertepaar bestimmbar ist, und eine Nachjustiereinrichlung, mit der das das Bewegungsmuster des Scanoder Projektionsstrahls derart nachjustierbar ist, dass die Abweichung zu null wird.
24. Vorrichtung nach einem der Punkte 17 bis 23, dadurch gekenn- zeichnet, daß der Scanstrahl zur Bestimmung der Lage und Ausrichtung des Auges im Infrarotbereich arbeitet.
25. Vorrichtung nach einem der Punkte 17 bis 24, gekennzeichnet durch die Verwendung in einem Informations-Projektionssystem zur vorzugsweise kontinuierlichen lagegenauen Überspielung von Information auf ausgewählte Bildpunkte der Retina.
26. Vorrichtung nach einem der Punkte 17 bis 24, gekennzeichnet durch die Verwendung in einem System, zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallendes Bildes mit der momentanen Blickrichtung.
27. Verfahren zur Bestimmung der Veränderung der Relativlage zwischen einem optischen System, insbesondere einem System zur Abgabe von
Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation, und dem optischen System des Auges, wobei das optische System ein Scansystem () zur Abtastung des Auges, insbesondere der Netzhaut, hat und in vorbestimmten Zyklen gemäß einem vorbestimmten Bewegungsmuster abtastet und/oder projiziert, dadurch gekennzeichnet, daß a) das Bewegungsmuster () des Scanstrahls () in Abstimmung mit den
Abtastzyklen, vorzugsweise je nach Bedarf und im Takt der Zyklen und gegebenenfalls in modifizerter Form zur Bestimmung der Koordinaten () der momentanen Pupillenmitte () und/oder der Makulamitte () herangezogen wird; und b) die Lageveränderung auf der Basis eines Vergleichs der Koordinaten der momentanen Pupillen- und/oder Makulamitte () mit den zuletzt gespeicherten Koordinaten () bestimmt wird.
28. Verfahren nach Punkt 27, dadurch gekennzeichnet, dass zur
Bestimmung der Veränderung der räumlichen Relativlage des Auges bezüglich des optischen Systems () zusätzlich die Veränderung der Relativlage mindestens eines weiteren charakteristischen Bereichs () der Retina bezüglich des optischen Systems () herangezogen wird, indem die momentanen Lagedaten (Koordinaten ) dieses charakteristischen Bereichs () mit zuvor gespeicherten Daten (Koordinaten ) in Beziehung gesetzt werden.
29. Verfahren nach Punkt 27 oder 28, dadurch gekennzeichnet, daß in vorbestimmten Zyklen gespeicherte Daten (Koordinaten ) durch die neu gewonnene Daten (Koordinaten ) der momentanen Relalivlagc des optischen Systems des Auges überschrieben werden.
30. Verfahren nach einem der Punkte 27 bis 29, dadurch gekennzeichnet, dass zur Gewinnung der Daten, auf deren Basis die Veränderung der Relativlage zwischen dem optischen System, insbesondere dem System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation, und dem optischen System des Auges, bestimmt wird, die Verfahrensschritte der Punkte 2 bis 16 herangezogen werden.
31. Vorrichtung zur Durchführung des Verfahrens nach einem der
Punkte 27 bis 30, gekennzeichnet durch a) eine Einrichtung, mit der das Bewegungsmuster () des Scanstrahls () je nach Bedarf und im Takt der Zyklen veränderbar ist, um eine Bestimmung der
Pupillenmitte () und/oder der Makulamitte () vorzunehmen; und b) eine Einrichtung () zur Ermittlung der Lageveränclerung auf der
Basis eines Vergleichs der Koordinaten der momentanen Pupillen- und/oder
Makulamitte () mit den zuletzt gespeicherten Koordinaten ().
32. Vorrichtung nach Punkt 31, gekennzeichnet durch eine zweidimensional arbeitende Scaneinrichtung () und eine Auswerteeinrichtung (), mit der die vom Abtaststrahl () erfassten Grauwerte in zwei Koordinaten () auswertbar sind.
33. Vorrichtung nach Punkt 31 oder 32, gekennzeichnet durch eine Speichereinrichtung (), in der die Koordinaten der Pupillen- oder Makulamitte () bezüglich eines Bezugspunkts am optischen System () speicherbar sind.
34. Vorichtung nach einem der Punkte 31 bis 33, gekennzeichnet durch eine Strahl-Leitanordnung (), mit der der Scan- und/oder Projektionsstrahl entsprechend dem Bewegungsmuster steuerbar ist, und durch eine Justiereinrichtung, mit der eine neutrale Mittelstellung der Strahl-Leitanordnung () unter Heranziehung der Veränderung der Koordinaten der Pupillen- oder Makulamitte nachführbar ist.
35. Vorrichtung nach einem der Punkte 31 bis 34, gekennzeichnet durch eine Speichereinrichtung, mit der die Grob-Koordinaten der PupiUenmitte () entsprechend einer Grobbestimmung ihrer Lage speicherbar sind.
33. Vorrichtung nach einem der Punkte 28 bis 32, gekennzeichnet durch eine Strahl-Leitanordnung, mit der der Scanstrahl auf einer Kreis- oder Ellipsen- Spirale oder auf konzentrischen Kreisen oder Ellipsen bewegbar ist.
34. Vorrichtung nach einem der Punkte 28 bis 33, gekennzeichnet durch eine Einrichtung zur Bestimmung der Relalivlage mindestens eines weiteren charakteristischen Bereichs der Retina () bezüglich des optischen Systems (), eine Vergleichereinrichtung, mit der die Abweichung der ermittelten Koordinaten () dieses charakteristischen Bereichs von einem zuvor gespeicherten Wertepaar bestimmbar ist.
35. Vorrichtung nach einem der Punkte 31 bis 34, dadurch gekennzeichnet, daß der Scanstrahl zur Bestimmung der Lage und Ausrichtung des Auges im Infrarotbereich arbeilet.
36. Vorrichtung nach einem der Punkte 31 bis 35, gekennzeichnet durch die Verwendung in einem Informations-Proj ektionssy stem zur vorzugsweise kontinuierlichen lagegenauen Überspielung von Information auf ausgewählte Bildpunkte der Retina.
Vorrichtung nach einem der Punkte 31 bis 35, gekennzeichnet durch die Verwendung in einem System, zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallendes Bildes mit der momentanen
Blickrichtung.
38. Verfahren zur Anpassung eines optischen Scan- und/oder
Projektionssystems an die Ausrichtung eines Auges, wobei das Zentrum eines in vorbestimmten Zyklen ausgeführten Bewegungsmusters einer Scan- und/oder Projektionsbewegung, das ein Ausgangsbzw. Endpunkt eines Strahlengangs des vom Auge zuruckreflektierten, vom Scansystem erfaßten Lichtes bzw. des vom Projektionssystem in das Auge projizierten Lichtes quasi zweidimensional im Auge beschreibt, wenn der
Strahlengang gemäß der Scan- bzw. Projektionsbewegung zeillich verändert wird, in die Pupillen- oder Makulamitte des Auges verlegt wird; nachdem das Bewegungsmuster der Scanbewegung in Abstimmung mit den vorbestimmlen Zyklen zur Bestimmung der Pupillenmitte bzw. Makulamitte herangezogen worden ist.
39. Verfahren nach Punkt 38, wobei das Informationsgehalt des während der Scanbewegung erfaßten Lichtes dazu herangezogen wird, zeitliche Änderungen der Relativlage des optischen Scan- und/oder Projektionssystems zum optischen System des Auges zu ermitteln, um das Bewegungsmuster der Scan- und/oder Projektionsbewegung auf der Basis der ermittelten Änderung der Relativlage der zeitlichen Lageveränderungen des optischen System des Auges nachzuführen.
40. Verfahren nach Punkt 38 oder 39, wobei das optische Scan- und/oder Projektionssystem ein System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation ist.
41. Verfahren nach einem der Punkte 38-40, wobei das Bewegungsmuster der Scanbewegung im Takt der vorbestimmten Zyklen und/oder in modifizierter Form zur Bestimmung der PupiUenmitte bzw. Makulamitte herangezogen wird. 42. Verfahren nach einem der Punkte 38-41, wobei der
Informationsgehalt, vorzugsweise als Grauwerte, des vom Auge zurückreflektierten, vom Scansystem erfaßten Lichtes in zwei Koordinaten ausgewertet wird, um die Pupillen- bzw. Makulamitte zu bestimmen.
43. Verfahren nach einem der Punkte 38-42, wobei das Bewegungsmuster der Scanbewegung zumindest abschnittsweise mehrfach, insbesondere so lange wiederholt durchfahren wird, bis eindeutige Werte für die Koordinaten der Pupillen- bzw. Makulamitte vorliegen.
44. Verfahren nach einem der Punkte 38-43, wobei dem Bewegungsmuster der Scanbewegung zur Bestimmung der Pupillen- bzw. Makulamitte ein Startmuster vorgeschaltet wird, das durch Auswertung des Informationsgehalts, vorzugsweise der Grauwerte, des vom Scansystem erfaßten Lichtes in zwei Koordinaten zur Grobbestimmung der Koordinaten der Pupillenmitte herangezogen wird.
45. Verfahren nach Punkt 44, wobei das Startmuster von einem Bezugspunkt am optischen Scan- und/oder Projektionssystems ausgeht.
46. Verfahren nach Punkt 44 oder 45, wobei die bei der Grobbestimmung der PupiUenmitte ermittelten Koordinaten bei der Festlegung des Bewegungsmusters einer anschließenden Scanbewegung zur Feinbeslimmung der Pupillen- oder Makulamitte verwendet werden.
47. Verfahren nach einem der Punkte 44-46, wobei das Startmuster zur
Grobbestimmung der Pupillenmitte mindestens drei lineare Bewegungsabschnitte umfaßt, wobei sich an einen vorzugsweise vom Bezugspunkt ausgehenden ersten Bewegungsabschnitt, der einen Übergang zwischen Iris und Lederhaut des Auges zweimal schneidet, ein zweiter Bewegungsabschnitt anschließt, der entlang der Mittelsenkrechte einer ersten Sekante verläuft, welche dem ersten Bewegungsabschnitt zwischen den beiden Iris/Lederhaut-Übergängen entspricht, und wobei der dritte Bewegungsabschnitt seinerseits auf dem zweiten Bewegungsabschnitt senkrecht steht und entweder durch das Zentrum der während des zweiten Bewegungsabschnitts über den Informationsgehalt, vorzugsweise über die Grauwerte, des erfaßten Lichtes bestimmten Pupille verläuft oder eine vom zweiten Bewegungsabschnitt bezüglich zweier Iris/Lcderhaut-Übergängc gebildete zweite Sekante mittig schneidet.
48. Verfahren nach einem der Punkte 38-47, wobei zur Feinbestimmung der PupiUenmitte eine Scanbewegung im Muster einer Kreis- oder Ellipsen-Spirale oder konzentrischer Kreise oder Ellipsen um grobbestimmende Koordinaten der Pupillenmitte ausgeführt wird. 49. Verfahren nach Punkt 48, wobei zuvor gespeicherte Koordinaten der Pupillenmitte als grobbestimmende Koordinaten der Pupillemitte verwendet werden.
50. Verfahren nach Punkt 48, wobei grobbestimmte
Momentankoordinaten der Pupillenmitte als grobbestimmende Koordinaten der Pupillenmitte verwendet werden.
51. Verfahren nach einem der Punkte 48-50, wobei die grobbestimmenden Koordinaten der Pupillenmitte anhand des Informationsgehalts, vorzugsweise anhand der Grauwerle, des während der Scanbewegung zur Feinbestimmung der Pupillenmitte erfaßten Lichtes rekursiv verfeinert werden.
52. Verfahren nach einem der Punkte 48-51 , wobei die Scanbewegung zur Feinbestimmung der Pupillenmitte abgebrochen wird, wenn die Werte, insbesondere die Grauwerte, des bei einem zusammenhängenden, zumindest 360° durchlaufenden Scanbewegungsabschnitt erfaßten Lichtes nicht außerhalb eines vorbestimmlen Bereichs fallen.
53. Verfahren nach Punkt 47, wobei der Punkt, an dem der dritte
Bewegungsabschnitt einen Iris/Pupillen- Übergang zum zweiten Mal überquert, als Startpunkt für eine Scanbewegung zur Feinbestimmung der Pupillen- oder Makulamitte herangezogen wird.
54. Verfahren nach einem der Punkte 38-53, wobei zur Feinbestimmung der Makulamitte und/oder -Struktur eine von den bei der Bestimmung der PupiUenmitte erhaltenen Koordinaten ausgehende, radial wachsende
Scanbewegung im Muster einer Kreis- oder Ellipsen-Spirale oder konzentrischer Kreisen oder Ellipsen so lange ausgeführt und/oder wiederholt wird, bis der Informationsgehalt, vorzugsweise die Grauwerte, des während der radial wachsenden Scanbewegung erfaßten Lichtes einen eindeutigen Hinweis auf den Durchmesser und/oder die Mitte der Makula liefert.
55. Verfahren nach Punkt 54, wobei die Scanbewegung zur Feinbestimmung der Makulamitte und/oder -Struktur abgebrochen wird, wenn der
Informationsgehalt, vorzugsweise die Grauwerte, des bei einem zusammenhängenden, zumindest 360° durchlaufenden Scanbewegungsabschnitt erfaßten Lichtes mehrfach einen deutlichen Signalsprung von einem hellen Wert auf einen dunklen Wert und umgekehrt aufweist.
56. Verfahren nach einem der Punkte 38-55, wobei die Relativlage mindestens eines charakteristischen Bereichs der Retina bezüglich des optischen Scan- und/oder Proj ektionssy stems ermittelt wird, und daß die Abweichungen ermittelter Lagedaten dieses charakteristischen Bereichs von zuvor gespeicherten Lagedaten dieses charakteristischen Bereichs zur Bestimmung der räumlichen Lage des Auges bezüglich des optischen Scan- und/oder Projektionssystems herangezogen werden.
57. Verfahren nach einem der Punkte 38-56, wobei das Bewegungsmuster der Scan- und/oder Projektionsbewegung entsprechend den
Abweichungen ermittelter Lagedaten mindestens eines charakteristischen Bereichs der Retina von zuvor gespeicherten Lagedaten dieses charakteristischen Bereichs nachjustiert wird, um das Zentrum des Bewegungsmusters der Scan- und/oder Projektionsbewegung, das zuvor in die Pupillen- oder Makulamitte des Auges lag, erneut in die Pupillen- oder Makulamitte des Auges zu verlegen, und/oder um das Bewegungsmuster der zeitlichen Lageänderungen des optischen System des Auges nachzuführen.
58. Verfahren nach einem der Punkte 38-57, wobei eine Darstellung zumindest ausgewählter Bereiche der Retina erfaßt und in einem Zwischenspeicher abgelegt wird, und daß zur Bestimmung einer Veränderung der räumlichen Position des Auges ein Vergleich der abgelegten Darstellung mit Informationen vorgenommen wird, die aus von der Retina abgetastetem, während einer aktuellen Scanbewegung erfaßtem Licht gewonnen werden.
59. Verfahren nach einem der Punkte 56-58, wobei die Iris, die Lederhaut, die Hornhaut und/oder eine andere Struktur des Auges anstelle der Retina oder zusammen mit der Retina herangezogen wird.
60. Verfahren nach Punkte 56 oder 57, wobei als charakteristischer
Bereich zumindest ein Abschnitt der Gefäßstruktur der Retina herangezogen wird.
61. Verfahren nach einem der Punkte 38-60, wobei Licht im sichtbaren und/oder im Infrarotbereich vom Scansystem erfaßt wird.
62. Vorrichtung zur Anpassung eines optischen Scan- und/oder
Projektionssystems an die Ausrichtung eines Auge, mit einer Verlegeeinrichtung, die das Zentrum eines in vorbestimmten Zyklen ausgeführten Bewegungsmusters einer Scan- und/oder Projektionsbewegung, das ein Ausgangs- bzw. Endpunkt eines Sirahlengangs des vom Auge zuruckreflektierten, vom Scansystem erfaßten Lichtes bzw. des vom Projektionssystem in das Auge projizierten Lichtes quasi zweidimensional im Auge beschreibt, wenn der Strahlengang gemäß der Scan- bzw. Projeklionsbewcgung zeitlich verändert wird, in die Pupillen- oder Makulamitte des Auges nachführt; und einer Beslimmungseinrichtung, die das Bewegungsmuster der Scanbewegung in Abstimmung mit den vorbestimmten Zyklen heranzieht, um die Pupillenmitte bzw. Makulamitte zu bestimmen. 63. Vorrichtung nach Punkt 62, mit einer Nachiuhreinrichtung, die das Informationsgehalt des während der Scanbewegung erfaßten Lichtes dazu heranzieht, zeitliche Änderungen der Relativlage des optischen Scan- und/oder Projektionssystems zum optischen System des Auges zu ermitteln, um das Bewegungsmuster der Scan- und/oder Projeklionsbewcgung auf der Basis der ermittelten Änderung der Relalivlage der zeitlichen Lageveränderungen des optischen System des Auges nachzuführen.
64. Vorrichtung nach Punkt 62 oder 63, wobei das optische Scan- und/oder Projektionssystem ein System zur Abgabe von Signalen in Abhängigkeil von auf die menschliche Netzhaut einfallender Bildinformation ist.
65. Vorrichtung nach einem der Punkte 62-64, wobei die Bestimmungseinrichtung das Bewegungsmuster der Scanbewegung im Takt der vorbeslimmten Zyklen und/oder in modifizierter Form zur Bestimmung der Pupillenmitte bzw. Makulamitte heranzieht.
66. Vorrichtung nach einem der Punkte 62-65, mit einer Auswerteeinrichtung, mit der der Informationsgehall, vorzugsweise als Grauwerte, des vom Auge zurückreflektierten, vom Scansystem erfaßten Lichtes in zwei Koordinaten auswertbar ist.
67. Vorrichtung nach einem der Punkte 62-66, die das Bewegungsmuster der Scanbewegung zumindest abschnittsweise mehrfach, insbesondere so lange wiederholt durchfährt, bis eindeutige Werte für die Koordinaten der Pupillen- bzw. Makulamitte vorliegen.
68. Vorrichtung nach einem der Punkte 62-67, die dem Bewegungsmuster der Scanbewegung zur Bestimmung der Pupillen- bzw. Makulamitte ein Startmuster vorschaltet, das durch Auswertung des Informationsgehalts, vorzugsweise der Grauwerte, des vom Scansyslem erfaßten Lichtes in zwei Koordinaten zur Grobbeslimmung der Koordinaten der PupiUenmitte herangezogen wird.
69. Vorrichtung nach Punkt 68, mit einem Bezugspunkt, von dem das
Startmuster ausgeht.
70. Vorrichtung nach Punkt 68 oder 69, die die bei der Grobbestimmung der PupiUenmitte ermittelten Koordinaten bei der Festlegung des Bewegungsmusters einer anschließenden Scanbewegung zur Feinbestimmung der Pupillen- oder Makulamitte verwendet.
71. Vorrichtung nach einem der Punkte 68-70, wobei das Startmuster zur Grobbestimmung der PupiUenmitte mindestens drei lineare Bewegungsabschnitte umfaßt, wobei sich an einen vorzugsweise vom Bezugspunkt ausgehenden ersten Bewegungsabschnitt, der einen Übergang zwischen Iris und Lederhaut des Auges zweimal schneidet, ein zweiter Bewegungsabschnitt anschließt, der entlang der Mittelsenkrechte einer ersten Sekante verläuft, welche dem ersten Bewegungsabschnitt zwischen den beiden Iris/Lcderhaut-Übergängen entspricht, und wobei der dritte Bewegungsabschnitt seinerseits auf dem zweiten Bewegungsabschnitt senkrecht steht und entweder durch das Zentrum der während des zweiten Bewegungsabschnitts über den Informationsgehalt, vorzugsweise über die Grauwerte, des erfaßten Lichtes bestimmten Pupille verläuft oder eine vom zweiten Bewegungsabschnitt bezüglich zweier Iris/Lederhaul-Übergänge gebildete zweite Sekante mittig schneidet.
72. Vorrichtung nach einem der Punkte 62-71, die zur Feinbestimmung der PupiUenmitte eine Scanbewegung im Muster einer Kreis- oder Ellipsen-Spirale oder konzentrischer Kreise oder Ellipsen um grobbestimmende Koordinaten der Pupillenmitte ausführt.
73. Vorrichtung nach Punkt 72, wobei zuvor gespeicherte Koordinaten der PupiUenmitte als grobbestimmende Koordinaten der Pupillcmittc verwendet werden.
74. Vorrichtung nach Punkt 72, wobei grobbestimmte Momentankoordinaten der PupiUenmitte als grobbestimmende Koordinaten der Pupillemitte verwendet werden.
75. Vorrichtung nach einem der Punkte 72-74, die die grobbestimmenden Koordinaten der PupiUenmitte anhand des Informationsgehalts, vorzugsweise anhand der Grauwerte, des während der Scanbewegung zur Feinbestimmung der Pupillenmitte erfaßten Lichtes rekursiv verfeinert.
76. Vorrichtung nach einem der Punkte 72-75, die die Scanbewegung zur Feinbestimmung der Pupi enmitte abbricht, wenn die Werte, insbesondere die Grauwerte, des bei einem zusammenhängenden, zumindest 360° durchkiufenden Scanbewegungsabschnitt erfaßten Lichtes nicht außerhalb eines vorbestimmten Bereichs fallen.
77. Vorrichtung nach Punkt 71, die den Punkt, an dem cler dritte
Bewegungsabschnitt einen Iris/Pupillen-Übergang zum zweiten Mal überquert, als Startpunkt für eine Scanbewegung zur Feinbestimmung der Pupillen- oder Makulamitte heranzieht.
78. Vorrichtung nach einem der Punkte 62-77, die zur Feinbestimmung der Makulamitte und/oder -Struktur eine von den bei der Bestimmung der
PupiUenmitte erhaltenen Koordinaten ausgehende, radial wachsende
Scanbewegung im Muster einer Kreis- oder Ellipsen-Spirale oder konzentrischer Kreisen oder Ellipsen so lange ausführt und/oder wiederholt, bis der Informationsgehalt, vorzugsweise die Grauwerte, des während der radial wachsenden Scanbewegung erfaßten Lichtes einen eindeutigen Hinweis auf den Durchmesser und/oder die Mitte der Makula liefert.
79. Vorrichtung nach Punkt 78, die . die Scanbewegung zur
Feinbestimmung der Makulamitte und/oder -Struktur abbricht, wenn der Informationsgehalt, vorzugsweise die Grauwerte, des bei einem zusammenhängenden, zumindest 360° durchlaufenden Scanbewegungsabschnitt erfaßten Lichtes mehrfach einen deutlichen Signalsprung von einem hellen Wert auf einen dunklen Wert und umgekehrt aufweist.
80. Vorrichtung nach einem der Punkte 62-79, die die Relalivlage mindestens eines charakteristischen Bereichs der Retina bezüglich des optischen Scan- und/oder Projektionssystems ermittelt, und daß die Abweichungen ermittelter Lagedaten dieses charakteristischen Bereichs von zuvor gespeicherten Lagedalcn dieses charakteristischen Bereichs zur Bestimmung der räumlichen Lage des Auges bezüglich des optischen Scan- und/oder Projektionssystems heranzieht.
81. Vorrichtung nach einem der Punkte 62-80, die eine Darstellung zumindest ausgewählter Bereiche der Retina erfaßt und in einem Zwischenspeicher ablegt, und zur Bestimmung einer Veränderung der räumlichen Position des Auges einen Vergleich der abgelegten Darstellung mit Informationen vornimmt, die die Vorrichtung aus von der Retina abgetastetem, während einer aktuellen Scanbewegung erfaßtem Licht gewonnen hat.
82. Vorrichtung nach einem der Punkte 79-81, die die Iris, die Lederhaut, die Hornhaut und/oder eine andere Struktur des Auges anstelle cler Retina oder zusammen mit der Retina heranzieht
83. Vorrichtung nach Punkt 79 oder 80, die als charakteristischer
Bereich zumindest ein Abschnitt der Gefäßstruktur der Retina heranzieht.
84. Vorrichtung nach einem der Punkte 62-83, wobei Licht im sichtbaren und/oder im Infrarotbereich vom Scansystem erfaßt wird.
85. Vorrichtung nach einem der Punkte 62-84, mit einer
Speiche reinrichlung, in der die Koordinaten der Pupillen- oder Makulamitte bezüglich eines Bezugspunkts am optischen Scan- und/oder Projektionssystem speicherbar sind.
86. Vorrichtung nach einem der Punkte 62-85, mit einer Strahl-
Leitanordnung, mit der der Strahlengang des vom Scansystem erfaßten und/oder des vom Projektionssystem projizierten Lichtes entsprechend dem Bewegungsmuster der Scan- bzw. Projektionsbewegung steuerbar ist, und einer Justiereinrichtung, mit der eine neutrale Mittelstellung der Strahl-Leitanordnung unter Heranziehung der Veränderung der Koordinaten der Pupillen- oder Makulamitte nachführbar ist.
87. Vorrichtung nach einem der Punkte 62-86, mit einer Strahl- Leitanordnung, die den Strahlengang des vom Scansystem erfaßten Lichtes derart steuern kann, daß er eine Kreis- oder Ellipsen-Spirale oder konzentrische Kreise oder Ellipsen im Auge beschreibt.
88. Vorrichtung nach einem der Punkte 62-87, mit einer Speichereinrichtung, mit der die Grobkoordinaten der Pupillenmitte entsprechend einer Grobbestimmung ihrer Lage speicherbar sind.
89. Vorrichtung nach einem der Punkte 62-88, mit einer Einrichtung zur Bestimmung der Relativlage mindestens eines charakteristischen Bereichs der Retina bezüglich des optischen Scan- und/oder Projektionssystems, einer Vergleiche reinrichtung, mit der die Abweichungen ermittelter
Lagedaten dieses charakteristischen Bereichs von zuvor gespeicherten Lagedaten dieses charakteristischen Bereichs zur Bestimmung der räumlichen Lage des Auges bezüglich des optischen Scan- und/oder Projektionssystems herangezogen werden können.
90. Vorrichtung nach einem der Punkte 62-89, mit einer Nachjustiereinrichtung, mit der das Bewegungsmuster der Scan- und/oder Projektionsbewegung entsprechend den Abweichungen ermittelter Lagedaten mindestens eines charakteristischen Bereichs der Retina von zuvor gespeicherten Lagedaten dieses charakteristischen Bereichs nachjustiert werden kann, um das Zentrum des Bewegungsmusters der Scan- und/oder Projektionsbewegung, das zuvor in die Pupillen- oder Makulamitte des Auges lag, erneut in die Pupillen- oder Makulamitte des Auges zu verlegen, und/oder um das Bewegungsmuster der zeillichen Lageänderungen des optischen System des Auges nachzuführen.
91. Verfahren zur Bestimmung der Veränderung der Relativlage zwischen einem optischen Scan- und/oder Projektionssystems und dem optischen
System eines Auges, wobei ein Bewegungsmuster einer Scanbewegung, das ein Ausgangspunkt eines Strahlengangs des vom Auge zuruckreflektierten, vom Scansystem erfaßten Lichtes quasi zweidimensional im Auge beschreibt, wenn der Strahlengang gemäß der Scanbewegung zeitlich verändert wird, dazu herangezogen wird, die momentanen Koordinaten der Pupillen- und/oder Makulamitte des Auges zu bestimmen; und die Veränderung der Relativlage auf der Basis eines Vergleichs der momentanen Koordinaten der Pupillen- und/oder Makulamitte mit zuvor gespeicherten Koordinaten der Pupillen- oder Makulamitte bestimmt wird.
92. Verfahren nach Punkt 91, wobei das optische Scan- und/oder
Projektionssystem ein System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation ist.
93. Verfahren nach Punkt 91 oder 92, wobei zur Bestimmung der Relativlage und/oder der Veränderung der Relativlage zwischen dem optischen
Scan- und/oder Projektionssystems und dem optischen System des Auges mindestens eines der Verfahrensschritte und/oder Verfahrensmerkmale der Punkte
41-61 herangezogen wird.
94. Verfahren nach Punkt einem der Punkte 91-93, wobei das
Informationsgehalt des während der Scanbewegung erfaßten Lichtes dazu herangezogen wird, zeitliche Änderungen der Relativlage des optischen Scan- und/oder Projektionssystems zum optischen System des Auges zu ermitteln, und das Bewegungsmuster der Scanbewegung und/oder einer Projektionsbewegung unter Heranziehung ermittelter Änderungen der Relativlage der zeitlichen Lageveränderungen des optischen System des Auges nachgeführt wird.
95. Verfahren nach einem der Punkte 91-94, wobei Kenntnisse über die Relativlage des optischen Scan- und/oder Projektionssystems zum optischen System des Auges dazu herangezogen werden, das Bewegungsmuster der Scanbewegung und/oder einer Pr jektionsbewegung relativ zum optischen System des Auges zu positionieren.
96. Vorrichtung zur Bestimmung der Veränderung der Relativlage zwischen einem optischen Scan- und/oder Projektionssystems und dem optischen
System eines Auges, mit einer ersten Bestimmungseinrichtung, die ein Bewegungsmuster einer Scanbewegung, das ein Ausgangspunkt eines Strahlengangs des vom Auge zurückreflektierten, vom Scansystem erfaßten Lichtes quasi zweidimensional im Auge beschreibt, wenn der Strahlengang gemäß der Scanbewegung zeitlich verändert wird, dazu heranzieht, die momentanen Koordinaten der Pupillen- und/oder Makulamitte des Auges zu bestimmen; und einer zweiten Bestimmungseinrichtung, die die Veränderung der Relativlage auf der Basis eines Vergleichs der momentanen Koordinaten der Pupillen- und/oder Makulamitte mit zuvor gespeicherten Koordinaten der Pupillenoder Makulamitte bestimmt. 97. Vorrichtung nach Punkt 96, wobei das optische Scan- und/oder
Projektionssystem ein System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation ist.
98. Vorrichtung nach Punkt 96 oder 97, die zur Bestimmung der
Relativlage und/oder der Veränderung der Relativlage zwischen dem optischen Scan- und/oder Projektionssystems und dem optischen System des Auges mindestens eines der Vorrichtungsmerkmale der Punkte 62-90 umfaßt.
99. Vorrichtung nach einem der Punkte 96-98, mit einer
Nachführeinrichtung, die das Informationsgehalt des während der Scanbewegung erfaßten Lichtes dazu heranzieht, zeitliche Änderungen der Relativlage des optischen Scan- und/oder Projektionssystems zum optischen System des Auges zu ermitteln, um das Bewegungsmuster der Scan- und/oder Projektionsbewegung auf der Basis der ermittelten Änderung der Rclalivlage der zeitlichen Lageveränderungen des optischen System des Auges nachzuführen.
100. Vorrichtung nach einem cler Punkte 96-99, mit einer Positioniereinrichlung, die Kenntnisse über die Relativlage des optischen Scan- und/oder Projektionssystems zum optischen System des Auges dazu heranzieht, das Bewegungsmuster der Scanbewegung und/oder einer Projektionsbewegung relativ zum optischen System des Auges zu positionieren.
101. Informations-Projektionssystem zur vorzugsweise kontinuierlichen lagegenauen Projektion von Information auf ausgewählte Bildpunkte der Retina, mit einer Vorrichtung nach einem cler Punkte 62-90 oder 96-100.
102. System zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallenden Bildes mit der momentanen Blickrichtung, mit einer Vorrichtung nach einem der Punkte 62-90 oder 96-100.
103. Verwendung einer Vorrichtung nach einem der Punkte 62-90 oder 96-100 in einem Informations-Projektionssystem zur vorzugsweise kontinuierlichen lagegenauen Projektion von Information auf ausgewählte Bildpunkte cler Retina.
104. Verwendung einer Vorrichtung nach einem der Punkte 62-90 oder 96-100 in einem System zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallenden Bildes mit der momentanen Blickrichtung.

Claims

Ansprüche
1. Verfahren zur Anpassung eines optischen Systems, insbesondere eines Systems zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation, an die Blickrichtung des Auges, wobei das optische System ein Scansystem zur Abtastung des Auges, insbesondere der Netzhaut, hat und in vorbestimmten Zyklen gemäß einem vorbestimmten Bewegungsmuster abtastet und/oder eine Projektion vornimmt, dadurch gekennzeichnet, daß a) das Bewegungsmuster (BM, 1138) des Scanstrahlengangs (331; 1138; 1832; 1830; 1930; 2030; 2130) in Abstimmung mit den Abtastzyklen, vorzugsweise je nach Bedarf im Takt der Zyklen und gegebenenfalls in modifierter Form zur Bestimmung der Pupillenmitte (PM) und/oder der Makulamitte (MM) herangezogen wird; und anschließend b) das optische Zentrum des Bewegungsmusters in die Pupillen- (PM) oder Makulamitte (MM) verlegt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Erfassung bzw. Bestimmung der Pupillen- oder Makulamitte (PM, MM) auf der Basis eines zweidimensionalen Scanbewegungsmusters erfolgt, indem die beim Abtasten erfassten Grauwerte in zwei Koordinaten ausgewertet werden.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das zweidimensionale Scanbewegungsmuster zumindest abschnittsweise mehrfach, insbesondere so lange wiederholt durchfahren wird, bis eindeutige Werte für die Koordinaten der Pupillen- oder Makulamitte (PM, MM) vorliegen.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß der zweidimensionale Scanvorgang zur Bestimmung der
Pupillen- oder Makulamitte (PM, MM) abgebrochen wird, wenn sich die bei einem zusammenhängenden, zumindest 360 durchlaufenden Scanbewegungsabschnitt (Kl, K2, ..., Kn) erfassten Grauwerte nicht mehr über einen vorgegebenen Schwellwert hinaus verändert haben.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß dem Bewegungsmuster des Scanstrahls zur Bestimmung der Pupillen- oder Makulamitte ein Startmuster (BMI, BM2, BM3) vorgeschaltet wird, das von einem Bezugspunkt (MS) am optischen System (420A) ausgeht und durch Auswertung der vom Abtaststrahlengang erfassten Grauwerte in zwei Koordinaten zur Grobbestimmung der Pupillenmitte (XPMG, YPMG) herangezogen wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die bei der Grobbestimmung der Pupillenmitte (PMG) ermittelten Werte bei der Festlegung des Bewegungsmusters für die anschließende Abtastbewegung zur genauen Bestimmung der Pupillen- oder Makulamitte (PM. MM) verwendet werden.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, daß das Bewegungsmuster zur Grobbestimmung der Pupillenmitte (PM) mindestens drei lineare Bewegungsabschnitte (BMI, BM2, BM3) umfasst, wobei sich an einen vorzugsweise vom Bezugspunkt (MS) ausgehenden ersten Bewegungsabschnitt (BMI) , der einen Übergang zwischen Iris
(485) und Lederhaut (428) des Auges zweimal schneidet ein zweiter Bewegungsabschnitt (BM2) anschließt, der die
Mittelsenkrechte einer ersten Sekante enthält, welche der erste Bewegungsabschnitt (BMI) bezüglich der Iris (485) bildet, wobei der dritte Bewegungsabschnitt (BM3) seinerseits auf dem zweiten Bewegungsabschnitt (BM2) senkrecht steht und entweder durch das Zentrum der während des zweiten Bewegungsabschnitts über die erfassten Grauwerte bestimmten Pupille verläuft oder eine vom zweiten Bewegungsabschnitt (BM2) bezüglich der Iris (485) gebildete zweite Sekante mittig schneidet.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der Punkt, an dem der dritte Bewegungsabschnitt (BM3) die Iris (485) zum zweiten Mal schneidet als Startpunkt für den Abtastvorgang zur genauen Bestimmung der Pupillen- oder Makulamitte (PM, MM) herangezogen wird.
9. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß zur Feinbestimmung der Makulamitte (MM) und/oder -Struktur der Scanstrahlengang ausgehend von den bei der Bestimmung der Pupillenmitte (PM) erhaltenen Koordinaten auf einer Kreis- oder Ellipsen-Spirale oder auf konzentrischen Kreisen (Kl, K2, ..., Kn) oder Ellipsen so lange nach außen bewegt wird, bis eindeutige Werte zur Festlegung des Durchmessers und/oder der Mitte der Makula vorliegen.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß der zweidimensionale Scanvorgang zur Feinbestimmung der Makulamitte (MM) und/oder -Struktur abgebrochen wird, wenn die bei einem • zusammenhängenden, zumindest 360° durchlaufenden Scanbewegungsabschnitt () erfassten Grauwerte mehrfach einen Signalsprung von WEISS auf SCHWARZ und umgekehrt aufweisen.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß zur Bestimmung der räumlichen Position des Auges bezüglich des optischen Systems (420A) zusätzlich die Relativlage mindestens eines weiteren charakteristischen Bereichs (687A, 688) der Retina bezüglich des optischen Systems ermittelt wird, und dass auf der Basis der Abweichungen der ermittelten Lagedaten
(Koordinaten ; Sequenz von Koordinaten) dieses charakteristischen Bereichs von zuvor gespeicherten
Lagedaten (Koordinaten ; Sequenz von Koordinaten) das Bewegungsmuster des Abtast- und/oder Projektionsstrahlengangs derart nachjustiert wird, dass die Abweichung zu null wird.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Bild zumindest ausgewählter Bereiche der Retina, in einem Zwischenspeicher (map) beispielsweise in Form eines die Koordinaten wiedergebenden Datensatzes (m x n- Speicher) abgelegt wird, und dass zur Bestimmung der räumlichen Position des Auges bezüglich des optischen Systems ein Vergleich des abgelegten Datensatzes mit einem Datensatz vorgenommen wird, der bei einem aktuellen Scanvorgang beim Überstreichen der Retina gewonnen wird.
13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, daß als charakteristischer Bereich der Blinde Fleck (988; 1088) des Auges herangezogen wird.
14. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, daß als charakteristischer Bereich zumindest ein ausgewählter Abschnitt der Randstruktur der Retina und/oder der Makula herangezogen wird.
15. Verfahren nach Ansprüche 11 oder 12, dadurch gekennzeichnet, daß als charakteristischer Bereich zumindest ein Abschnitt der Gefäßstruktur (987A) der Retina herangezogen wird.
16. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, daß der Scanstrahlengang zur Bestimmung der Lage und Ausrichtung des Auges im Infrarotbereich arbeitet.
17. Vorrichtung zur Anpassung eines optischen Systems, insbesondere eines Systems zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation, an die Blickrichtung des Auges, wobei das optische System ein Scansystem zur Abtastung des Auges, insbesondere der Netzhaut, hat und in vorbestimmten Zyklen entsprechend einem vorbestimmten Bewegungsmuster abtastet und/oder projiziert, gekennzeichnet durch a) eine Einrichtung, mit der das Bewegungsmuster (BM, 1138) des Scanstrahlengangs je nach Bedarf und im Takt der Zyklen veränderbar ist, um eine Bestimmung der Pupillenmitte (PM) und/oder der Makulamitte (MM) vorzunehmen; und b) eine Einrichtung (ET, DSP, TH, TV, 1652H, 1652V, 1651IR) zur Nachführung des optischen Zentrums des Bewegungsmusters des Abtast- und/oder Projektionsstrahlengangs in die ermittelte Pupillen- (PM) oder Makulamitte (MM) .
18. Vorrichtung nach Anspruch 17, gekennzeichnet durch eine zweidimensional arbeitende Scaneinrichtung und eine Auswerteeinrichtung, mit der die beim Abtasten erfassten Grauwerte in zwei Koordinaten (X, Y) auswertbar sind.
19. Vorrichtung nach Anspruch 18, gekennzeichnet durch eine Speichereinrichtung (DSP) , in der die Koordinaten der Pupillen- oder Makulamitte (PM, MM) bezüglich eines Bezugspunkts am optischen System speicherbar sind.
20. Vorrichtung nach einem der Ansprüche 17 bis 19, gekennzeichnet durch eine Strahlengang-Leitanordnung (854, 854A) ) , mit der der Scan- bzw. Abtast- und/oder Projektionsstrahl (SRO, SRU, SRO', SRU' ) entsprechend dem
Bewegungsmuster steuerbar ist, und durch eine
Justiereinrichtung, mit der eine neutrale Mittelstellung
(C, C) der Strahlengang-Leitanordnung (854, 854A) unter
Heranziehung der Veränderung der Koordinaten der Pupillen- oder Makulamitte nachführbar ist.
21. Vorrichtung nach einem der Ansprüche 17 bis 20, gekennzeichnet durch eine Speichereinrichtung (DSP) , mit der die Grob-Koordinaten der Pupillenmitte (XPMG, YPMG) entsprechend einer Grobbestimmung ihrer Lage speicherbar sind.
22. Vorrichtung nach einem der Ansprüche 17 bis 21, gekennzeichnet durch eine Strahlengang-Leitanordnung, mit der der Scanstrahlengang auf einer Kreis- oder Ellipsen- Spirale oder auf konzentrischen Kreisen oder Ellipsen bewegbar ist.
23. Vorrichtung nach einem der Ansprüche 17 bis 22, gekennzeichnet durch eine Einrichtung zur Bestimmung der Relativlage mindestens eines weiteren charakteristischen Bereichs (687A, 688) der Retina bezüglich des optischen Systems , eine Vergleichereinrichtung (DSP) , mit der die Abweichung der ermittelten Koordinaten dieses charakteristischen : Bereichs' von einem zuvor gespeicherten Wertepaar bestimmbar- ist, und eine Nachjustiereinrichtung (DSP, 854), mit der das das Bewegungsmuster des Scan- oder Projektionsstrahlengangs derart nachjustierbar ist, dass die Abweichung zu null wird.
24. Vorrichtung nach einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, daß die für den Scanstrahlengang verwendete elektromagnetischen Wellen zur Bestimmung der Lage und Ausrichtung des Auges im Infrarotbereich liegen.
25. Vorrichtung nach einem der Ansprüche 17 bis 24, gekennzeichnet durch die Verwendung in einem Informations- Projektionssystem zur vorzugsweise kontinuierlichen lagegenauen Überspielung von Information auf ausgewählte Bildpunkte der Retina.
26. Vorrichtung nach einem der Ansprüche 17 bis 24, gekennzeichnet durch die Verwendung in einem System, zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallendes Bildes mit der momentanen Blickrichtung.
27. Verfahren zur Bestimmung der Veränderung der Relativlage zwischen einem optischen System, insbesondere einem System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation, und dem optischen System des Auges, wobei das optische System ein Scansystem (851) zur Abtastung des Auges, insbesondere der Netzhaut, hat und in vorbestimmten Zyklen gemäß einem vorbestimmten Bewegungsmuster abtastet und/oder projiziert, dadurch gekennzeichnet, daß a) das Bewegungsmuster (BM, 1138) des Scanstrahlengangs (331; 1138; 1832, 1830; 1930; 2030; 2130) in Abstimmung mit den Abtastzyklen, vorzugsweise je nach Bedarf und im Takt der Zyklen und gegebenenfalls in modifizerter Form zur Bestimmung der Koordinaten (XPM, YPM) der momentanen Pupillenmitte (PMA) und/oder der Makulamitte (MMA) herangezogen wird; und b) die Lageveränderung auf der Basis eines Vergleichs der Koordinaten der momentanen Pupillen- und/oder Makulamitte (MMN) mit den in einer Speichereinrichtung (DSP) bei einem vorangegangenen Abtastvorgang gespeicherten Koordinaten (XMMA, YMMA) bestimmt wird.
28. Verfahren nach Anspruch 27, dadurch gekennzeichnet, dass zur Bestimmung der Veränderung der räumlichen Relativlage des Auges bezüglich des optischen Systems zusätzlich die Veränderung der Relativlage mindestens eines weiteren charakteristischen Bereichs (687A, 688) der Retina bezüglich des optischen Systems herangezogen wird, indem die momentanen Lagedaten (Koordinaten) dieses charakteristischen Bereichs mit in einem vorangegangenen Abtastvorgang in einer Speichereinrichtung (DSP) gespeicherten Daten (Koordinaten ) in Beziehung gesetzt werden.
29. Verfahren nach Anspruch 27 oder 28, dadurch gekenn¬ zeichnet, daß in vorbestimmten Zyklen gespeicherte Daten (Koordinaten ) durch die neu gewonnene Daten (Koordinaten ) der momentanen Relativlage des optischen Systems des Auges überschrieben werden.
30. Verfahren nach einem der Ansprüche 27 bis 29, dadurch gekennzeichnet, dass zur Gewinnung der Daten, auf deren Basis die Veränderung der Relativlage zwischen dem optischen System, insbesondere dem System zur Abgabe von Signalen in Abhängigkeit von auf die menschliche Netzhaut einfallender Bildinformation, und dem optischen System des Auges, bestimmt wird, die Verfahrensschritte der Ansprüche 2 bis 16 herangezogen werden.
31. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 27 bis 30, gekennzeichnet durch a) eine Einrichtung, mit der das Bewegungsmuster des Scanstrahlengangs je nach Bedarf und im Takt der Zyklen veränderbar ist, um eine Bestimmung der Pupillenmitte (PM) und/oder der Makulamitte (MM) vorzunehmen; und b) eine Einrichtung zur Ermittlung der Lageveränderung auf der Basis eines Vergleichs der Koordinaten der momentanen Pupillen- und/oder Makulamitte (XMMN, YMMN) mit den zuletzt gespeicherten Koordinaten (XMMA, YMMA) .
32. Vorrichtung nach Anspruch 31, gekennzeichnet durch eine zweidimensional arbeitende Scaneinrichtung und eine
Auswerteeinrichtung (DSP), mit der die beim Abtasten im
Abtaststrahlengang erfassten Grauwerte in zwei Koordinaten
(X, Y) auswertbar sind.
33. Vorrichtung nach Anspruch 31 oder 32, gekennzeichnet durch eine Speichereinrichtung (DSP) , in der die Koordinaten der Pupillen- oder Makulamitte (PM, MM) bezüglich eines Bezugspunkts am optischen System speicherbar sind.
34. Vorichtung nach einem der Ansprüche 31 bis 33, gekennzeichnet durch eine Strahlengang-Leitanordnung, mit der der Scan- und/oder Projektionsstrahlengang entsprechend dem Bewegungsmuster steuerbar ist, und durch eine Justiereinrichtung, mit der eine neutrale Mittelstellung (C) der Strahlengang-Leitanordnung (854) unter Heranziehung der Veränderung der Koordinaten der Pupillenoder Makulamitte nachführbar ist.
35. Vorrichtung nach einem der Ansprüche 31 bis 34, gekennzeichnet durch eine Speichereinrichtung (DSP) , mit der die Grob-Koordinaten der Pupillenmitte entsprechend einer Grobbestimmung ihrer Lage speicherbar sind.
36. Vorrichtung nach einem der Ansprüche 28 bis 35, gekennzeichnet durch eine Strahlengang-Leitanordnung, mit der der Scanstrahlengang auf einer Kreis- oder Ellipsen- Spirale oder auf konzentrischen Kreisen oder Ellipsen bewegbar ist.
37. Vorrichtung nach einem der Ansprüche 28 bis 36, gekennzeichnet durch eine Einrichtung zur Bestimmung der Relativlage mindestens eines weiteren charakteristischen Bereichs der Retina bezüglich des optischen Systems, eine Vergleichereinrichtung (DSP) , mit der die Abweichung der ermittelten Koordinaten dieses charakteristischen Bereichs von einem in einem vorangegangenen Abtastvorgang gespeicherten Wertepaar bestimmbar ist.
38. Vorrichtung nach einem der Ansprüche 31 bis 37, dadurch gekennzeichnet, daß die elekromagenetischen Wellen für den Scanstrahlengang zur Bestimmung der Lage und Ausrichtung des Auges im Infrarotbereich liegen.
39. Vorrichtung nach einem der Ansprüche 31 bis 38, gekennzeichnet durch die Verwendung in einem Informations- Projektionssystem zur vorzugsweise kontinuierlichen lagegenauen Überspielung von Information auf ausgewählte Bildpunkte der Retina.
40. Vorrichtung nach einem der Ansprüche 31 bis 39, gekennzeichnet durch die Verwendung in einem System, zur Korrelation der Ausrichtung zumindest ausgewählter Elemente eines optischen Systems zur Aufnahme eines Bildes aus dem Gesichtsfeld oder eines auf das Auge einfallendes Bildes mit der momentanen Blickrichtung.
PCT/EP2001/005886 2000-10-07 2001-05-22 Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges WO2002097511A1 (de)

Priority Applications (25)

Application Number Priority Date Filing Date Title
PCT/EP2001/005886 WO2002097511A1 (de) 2001-05-22 2001-05-22 Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
DE10196499T DE10196499D2 (de) 2001-05-22 2001-05-22 Verfahren und Vorrichtung zur Anpassung eines optischen Systems an die Blickrichtung des menschlichen Auges
PCT/EP2001/011634 WO2002031581A1 (de) 2000-10-07 2001-10-08 Vorrichtung und verfahren zur bestimmung der orientierung eines auges
US10/551,443 US8113657B2 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
US10/551,445 US7641342B2 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
EP01986772A EP1405122B1 (de) 2000-10-07 2001-10-08 Vorrichtung zur bestimmung der orientierung eines auges
AT01986772T ATE367596T1 (de) 2000-10-07 2001-10-08 Vorrichtung zur bestimmung der orientierung eines auges
PCT/EP2001/011633 WO2002033472A2 (de) 2000-10-07 2001-10-08 Informationssystem und verfahren zum zurverfügungstellen von informationen unter verwendung eines holographischen elements
DE50112248T DE50112248D1 (de) 2000-10-07 2001-10-08 Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
EP01987895A EP1405123B1 (de) 2000-10-07 2001-10-08 Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
DE50112749T DE50112749D1 (de) 2000-10-07 2001-10-08 Vorrichtung zur bestimmung der orientierung eines auges
ES07013946T ES2401132T3 (es) 2000-10-07 2001-10-08 Dispositivo y procedimiento para la determinación de la orientación de un ojo
AU2002215929A AU2002215929A1 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
AU2002221662A AU2002221662A1 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
EP07013946A EP1840627B1 (de) 2000-10-07 2001-10-08 Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
AT01987895T ATE357680T1 (de) 2000-10-07 2001-10-08 Informationssystem und verfahren zur zurverfügungstellen von informationen unter verwendung eines holographischen elements
PCT/EP2002/004030 WO2002095480A1 (de) 2001-05-22 2002-04-10 Verfahren und system zum zurverfuegungstellen von informationen über das auge.
EP02771631A EP1395868A1 (de) 2001-05-22 2002-04-10 Verfahren und system zum zurverfuegungstellen von informationen über das auge.
US12/646,670 US8016421B2 (en) 2000-10-07 2009-12-23 Information system and method for providing information using a holographic element
US13/223,825 US8944602B2 (en) 2000-10-07 2011-09-01 Information system and method for providing information using a holographic element
US13/300,691 US8382285B2 (en) 2000-10-07 2011-11-21 Device and method for determining the orientation of an eye
US13/749,945 US20130135181A1 (en) 2000-10-07 2013-01-25 System and Method for Determining the Orientation of an Eye
US14/572,264 US9427154B2 (en) 2000-10-07 2014-12-16 Information system and method for providing information using a holographic element
US15/235,845 US10188288B2 (en) 2000-10-07 2016-08-12 Information system and method for providing information using a holographic element
US16/259,496 US20190150731A1 (en) 2000-10-07 2019-01-28 Information System and Method for Providing Information Using a Holographic Element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2001/005886 WO2002097511A1 (de) 2001-05-22 2001-05-22 Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges

Publications (1)

Publication Number Publication Date
WO2002097511A1 true WO2002097511A1 (de) 2002-12-05

Family

ID=8164428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2001/005886 WO2002097511A1 (de) 2000-10-07 2001-05-22 Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges

Country Status (2)

Country Link
DE (1) DE10196499D2 (de)
WO (1) WO2002097511A1 (de)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1840627A2 (de) 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US7656569B2 (en) 2004-12-03 2010-02-02 Searete Llc Vision modification with reflected image
US7931373B2 (en) 2004-12-03 2011-04-26 The Invention Science Fund I, Llc Vision modification with reflected image
US8104892B2 (en) 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US8562540B2 (en) 2004-12-03 2013-10-22 The Invention Science Fund I, Llc Method and system for adaptive vision modification
US9155483B2 (en) 2004-12-03 2015-10-13 The Invention Science Fund I, Llc Vision modification with reflected image
CN109558665A (zh) * 2018-11-22 2019-04-02 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN111587086A (zh) * 2017-11-14 2020-08-25 维韦德视觉公司 用于视野分析的系统和方法
CN113504833A (zh) * 2021-09-10 2021-10-15 世纳微电子科技(成都)有限公司 数字光学色温传感器、眼球追踪装置及人机交互系统
CN114755824A (zh) * 2017-03-21 2022-07-15 奇跃公司 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
TWI824868B (zh) * 2022-12-07 2023-12-01 張朝凱 視野範圍之檢測系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214455A (en) * 1991-04-01 1993-05-25 General Electric Company Objective eye alignment measurement method and system
US5644642A (en) * 1995-04-03 1997-07-01 Carl Zeiss, Inc. Gaze tracking using optical coherence tomography
DE19731303A1 (de) * 1997-07-13 1999-02-04 Smi Senso Motoric Instr Gmbh Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214455A (en) * 1991-04-01 1993-05-25 General Electric Company Objective eye alignment measurement method and system
US5644642A (en) * 1995-04-03 1997-07-01 Carl Zeiss, Inc. Gaze tracking using optical coherence tomography
DE19731303A1 (de) * 1997-07-13 1999-02-04 Smi Senso Motoric Instr Gmbh Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8382285B2 (en) 2000-10-07 2013-02-26 Metaio Gmbh Device and method for determining the orientation of an eye
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
US8016421B2 (en) 2000-10-07 2011-09-13 Metaio Gmbh Information system and method for providing information using a holographic element
EP1840627A2 (de) 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US8944602B2 (en) 2000-10-07 2015-02-03 Metaio Gmbh Information system and method for providing information using a holographic element
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US9155483B2 (en) 2004-12-03 2015-10-13 The Invention Science Fund I, Llc Vision modification with reflected image
US7656569B2 (en) 2004-12-03 2010-02-02 Searete Llc Vision modification with reflected image
US8562540B2 (en) 2004-12-03 2013-10-22 The Invention Science Fund I, Llc Method and system for adaptive vision modification
US8109632B2 (en) 2004-12-03 2012-02-07 The Invention Science Fund I, Llc Vision modification with reflected image
US8104892B2 (en) 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US7931373B2 (en) 2004-12-03 2011-04-26 The Invention Science Fund I, Llc Vision modification with reflected image
US9459470B2 (en) 2004-12-03 2016-10-04 Gearbox, Llc Vision modification with reflected image
US8282212B2 (en) 2004-12-03 2012-10-09 The Invention Science Fund I, Llc Vision modification with reflected image
US10409088B2 (en) 2004-12-03 2019-09-10 Gearbox, Llc Adjustable contact lens system
CN114755824A (zh) * 2017-03-21 2022-07-15 奇跃公司 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
CN111587086A (zh) * 2017-11-14 2020-08-25 维韦德视觉公司 用于视野分析的系统和方法
CN109558665A (zh) * 2018-11-22 2019-04-02 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN109558665B (zh) * 2018-11-22 2023-01-10 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN113504833A (zh) * 2021-09-10 2021-10-15 世纳微电子科技(成都)有限公司 数字光学色温传感器、眼球追踪装置及人机交互系统
CN113504833B (zh) * 2021-09-10 2021-12-24 世纳微电子科技(成都)有限公司 数字光学色温传感器、眼球追踪装置及人机交互系统
TWI824868B (zh) * 2022-12-07 2023-12-01 張朝凱 視野範圍之檢測系統

Also Published As

Publication number Publication date
DE10196499D2 (de) 2004-07-01

Similar Documents

Publication Publication Date Title
EP1405122B1 (de) Vorrichtung zur bestimmung der orientierung eines auges
DE10103922A1 (de) Interaktives Datensicht- und Bediensystem
EP1190667A2 (de) System zur Aufnahme des Netzhautreflexbildes
DE102006002001B4 (de) Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
EP1430349B1 (de) Informationssystem
JP5555258B2 (ja) 適合光学線走査検眼鏡及び方法
EP1405123A2 (de) Informationssystem und verfahren zum zurverfügungstellen von informationen unter verwendung eines holographischen elements
WO2002097511A1 (de) Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
EP0917661A2 (de) Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
EP2582284B1 (de) Verfahren und vorrichtung zur bestimmung der augenposition
US20090073386A1 (en) Enhanced head mounted display
WO2017133992A1 (de) Projektionsvorrichtung für eine datenbrille, verfahren zum darstellen von bildinformationen mittels einer projektionsvorrichtung und steuergerät
US7360895B2 (en) Simplified ocular fundus auto imager
EP1840627B1 (de) Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
DE102017108551A1 (de) Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
EP1405121A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzhaut
WO1999003013A1 (de) Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
EP1430350B1 (de) Informationssystem
DE102020215285A1 (de) Verfahren zur Parallaxeregelung und binokulare Datenbrille mit einer Recheneinheit zu einem Durchführen des Verfahrens
DE10127826A1 (de) Projektionssystem und Projektionsverfahren
WO2024083370A1 (de) Umlenkeinheit
DE102013103801A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Blickrichtung, elektronische Brille und Verfahren zum Steuern einer elektronischen Brille
WO2002031579A1 (de) Verfahren und vorrichtung zur überspielung von optischen informationen auf die menschliche netzhaut
WO2016058583A1 (de) Verfahren zur messgenauen bestimmung von optisch-physiognomischen parametern eines probanden zur anpassung von brillengläsern an den probanden für die nahsichtsituation

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DE DK DM EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: FESTSTELLUNG EINES RECHTSVERLUSTS NACH REGEL 69(1) EPUE (EPA FORM 1205A VOM 16.02.2004)

REF Corresponds to

Ref document number: 10196499

Country of ref document: DE

Date of ref document: 20040701

Kind code of ref document: P

WWE Wipo information: entry into national phase

Ref document number: 10196499

Country of ref document: DE

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP