WO1999042315A1 - Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen - Google Patents

Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen Download PDF

Info

Publication number
WO1999042315A1
WO1999042315A1 PCT/DE1999/000421 DE9900421W WO9942315A1 WO 1999042315 A1 WO1999042315 A1 WO 1999042315A1 DE 9900421 W DE9900421 W DE 9900421W WO 9942315 A1 WO9942315 A1 WO 9942315A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image information
eye
eyes
glasses
Prior art date
Application number
PCT/DE1999/000421
Other languages
English (en)
French (fr)
Inventor
Günter ABERSFELDER
Heinrich Alexander Eberl
Helmut Grantz
Thorsteinn Halldorsson
Horst Schmidt-Bischoffshausen
Stefan Uhl
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19807271A external-priority patent/DE19807271A1/de
Priority claimed from DE1998107081 external-priority patent/DE19807081C2/de
Priority claimed from DE19807065A external-priority patent/DE19807065C2/de
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Priority to EP99913073A priority Critical patent/EP1056611A1/de
Priority to JP2000532296A priority patent/JP2002503862A/ja
Publication of WO1999042315A1 publication Critical patent/WO1999042315A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0058—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator responsive to externally generated signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Definitions

  • the present invention relates to a method for controlling or operating systems using image information and a method for acquiring image information.
  • control element When operating a control element must be searched optically or haptically, and the control element must be detected by optical fixation with the eyes and / or palpation of the shape.
  • Control element on the other hand.
  • a functional check can be carried out by feedback via functional lighting.
  • image information is obtained by self-sufficient, person-independent image recording devices such as cameras or scanners. These devices require alignment with the help of special facilities such as camera viewfinder or insertion template.
  • the viewing angle of the original image (object) or the recording format is determined by the lens used and the original image.
  • a geometrical change of the picture requires a change of the lenses or the device with too large formats.
  • Many of these devices are portable due to their power supply and weight.
  • a separate device version is required for each device function.
  • partially transparent glasses are described, with the aid of which the retinal reflex image of the eye is recorded electronically with different brightness of the surroundings by means of a rear-view mirror.
  • This device which is described in various variants, enables the image seen directly by the eye to be scanned serially from the retina of the eye using a two-axis scanner and further processed by a computer.
  • an illumination device preferably with lasers
  • the previously recorded and processed image can be superimposed physiologically without delay on the original image over the same light path in the opposite direction and after repeated reflection on the inside of the glasses.
  • the visual impression is to be improved by modifying the image and projecting it back into the eye.
  • the object of the present invention is to provide a method for controlling or operating systems which simplifies the operation of the systems and relieves the respective operator. In particular when driving vehicles, the driver's workload is supposed to increase traffic safety.
  • the method according to the invention for controlling or operating systems comprises the steps:
  • the image patterns of the fovea centralis of both eyes are advantageously detected and compared with a stored pattern, the function being triggered by activating an operating element if the pattern matches.
  • the system to be operated or a control element can be fixed with the eye or eyes to operate it. The triggering can take place, for example, by an acoustic command or by fixing the object for a predetermined time.
  • Functions of a vehicle are preferably controlled by the control signals, e.g. Brakes, steering, lights, or they are used to trigger warning signals.
  • the image information can be correlated with current driving data and / or vehicle data. Relative assignments of geometric image information of both eyes and / or temporal changes in the image information of both eyes are preferably evaluated.
  • an infrared lighting system can be activated to improve vision, while the retinal reflex image is changed and projected back into the eye synchronously.
  • the image information obtained can e.g. can be used to adapt the lighting or the driving lights to the respective line of sight.
  • Image information obtained can also be temporarily stored in a memory or vehicle data memory for the reconstruction of subjective scenes or traffic situations.
  • a method for acquiring image information is created, with the steps:
  • Detecting an object or a scene with the human eye through optoelectronic glasses and recording the retinal reflex image by means of a scanning process Feeding the captured retinal reflex image to an image processing and storage system; and triggering a recording or copying function in order to record, copy and / or transmit the object seen by the eye.
  • an auxiliary pattern is preferably projected into the eye in order to provide a cutout frame or to correct the recorded image.
  • the auxiliary pattern can also be invisible to the eye and with the help of stored data on the curvature of the retina, the image can be rectified.
  • the desired function is triggered by optically detecting the operating function of a device with the eyes at a suitable point and activating a single operating element.
  • the pattern reflected by the retina in the area of the fovea centralis of both eyes is evaluated, in particular by comparing the pattern with stored patterns while checking for congruence. If the two patterns match the stored pattern, the process can be switched for many functions by activating a single control element.
  • Such a fixation is also necessary in known methods if a system, e.g. using a mouse.
  • the fixation happens on the mouse pointer.
  • the desired icon for operation must be searched for and found on a screen, which also requires fixation. Only when the mouse pointer and icon can be fixed at the same time, operation via an additional control element is possible. For many people, this leads to the above
  • fixation with the eyes is used to activate, for example, known objects.
  • This can take place, for example, in which an intelligent operating system provided with an operating element is located at a preferred location.
  • the operator looks at and fixes the system, For example, a lamp whose pattern is saved, he can turn it on, for example, with one control element when it is not lit, or turn it off when it is lit.
  • a television can be switched on or off in the same way, for example.
  • individual functions or operating elements can now also be represented graphically on a monitor, where they are then also fixed by the eye and can be triggered or switched using the single operating element.
  • This control element can e.g. by an acoustic call (e.g. "switch on”, “switch off”, “weaken”, “amplify”) and a corresponding voice recognition in the device that is being used.
  • the monitor which can be made small, is then the only control element of the device or system and can simultaneously offer various functions to choose from.
  • the image of the operating element or monitor viewed by the operator's eyes and depicted on the retina is thus recorded by the retina, electronically stored and compared by the computer with known patterns. This is done with the opto-electronic glasses that are described in the aforementioned DE 196 31 414 A1 and DE 197 28 890 A1.
  • the opto-electronic glasses are used to determine the exact fixation of the eyes either purely passively via the recording of the image in the area of the sharpest vision or with the aid of a marking reflected in the projection unit of the opto-electronic glasses to be the center of attention.
  • the control element can be identified, a comparison of the image with stored patterns of the control elements in the computer is possible.
  • the patterns of the existing control elements are transmitted by the device or system itself to the operator via IR or radio.
  • the known glasses are designed so that the image of the surroundings transmitted through the glasses on the retina of the eye is recorded serially by means of the rear-view mirror on the inside of the glasses with the aid of a scanner with a fixed sampling frequency and a sensitive photo detector. The serial image signal is then sent to the image processing computer.
  • part of the image acquisition cycle can be used to locate and track the pupil opening and to center the axis of symmetry of the image scan on it. This allows the image acquisition to follow the fast and slow movements of the eye particularly well. The alignment of the two eyes against each other can thus be measured and the images of both eyes can be correlated.
  • the image information obtained from the retinal reflex image of the eye by means of the opto-electronic glasses is evaluated with a computer and used to obtain control signals.
  • stationary image templates such as books, newspaper and documentation texts and printed images can also be recorded and used with the aid of the optoelectronic glasses.
  • the system to be operated is a recording, storage, copying and / or transmission system.
  • the image information is taken from the same point of view as the viewer sees it, directly from his eye (retina) and processed in the computer, stored, copied or distributed via electronic networks (fax, e-mail, Internet).
  • an improved or supplemented image of the original or of auxiliary patterns and stencils can be superimposed on the original image with the aid of a laser projection device.
  • the optoelectronic glasses are designed such that the image of the surroundings transmitted through the glasses on the retina of the eye is reflected by the rear-view mirror on the inside of the glasses or their glasses is recorded serially using a scanner with a fixed sampling frequency and a sensitive photo detector.
  • the serial image signal is then passed to the image processing computer.
  • part of the image acquisition cycle is used to locate and track the pupil opening and to center the axis of symmetry of the image acquisition on it. This happens in both eyes at the same time. In this way, the alignment of the two eyes against each other can be measured and the images of both eyes can be correlated.
  • Eye and head movements which every person carries out when viewing and reading, due to the small instantaneous focus range of the eye (approx. 1 °) and the limited image recording speed, are not necessary when taking pictures with the opto-electronic glasses.
  • the shooting conditions such as the distance to the original and the shooting angle, will vary depending on the application.
  • the shortest possible recording time corresponds to the frame rate of the scanner.
  • the captured image can be processed in the computer using a typical video standard. Since the images are geometrically distorted due to the curvature of the retina and the different viewing angles, it will be necessary to convert the image to a specific format after the image has been taken. Since the equalization of the images without optical aids means a relatively high computing effort, the invention advantageously provides that a geometric auxiliary pattern (e.g. a regular, dense network) is preferably projected onto the retina in the invisible infrared radiation range with the laser projector during or between two image recordings . A simplified equalization in the image computer is then made possible by the mathematical comparison of this internal auxiliary image with the external image.
  • a geometric auxiliary pattern e.g. a regular, dense network
  • FIG. 1 shows schematically the known opto-electronic glasses and their interaction with the human visual apparatus
  • FIG. 2 shows the processing of the signals in a block diagram corresponding to the above-mentioned publication
  • FIG. 3 schematically shows the view from a vehicle onto a tight curve
  • FIG. 4 schematically, the view from a vehicle onto a wide curve
  • Figure 5 schematically shows the view of a straight course of the road when driving normally
  • FIG. 6 schematically shows a straight course of the road with the vehicle traveling far to the right
  • Figure 7 schematically shows the view of two vehicles in front with the left eye
  • Figure 8 schematically shows the view of two vehicles in front with the right eye.
  • Figure 1 shows a schematic image of the known glasses when they are put on.
  • the beam path for the recording of the retinal reflex via reflection of the beam axes on the inside of the glasses, as well as the visual field of the eye in transmission through the glasses is indicated.
  • the individual optical, electronic and mechanical components such as mirrors, photo receivers, preamplifiers and scanners can today be used in a similar way to e.g. modern hearing aids are very miniaturized so that putting on the glasses, similar to sunglasses, means no disability for the operator or driver.
  • the data transmission from the glasses to the computer or to a user-specific microprocessor or other electronic devices, e.g. of the vehicle, can be carried out via fiber optic cable or IR data transmission. Details can be found in the publication mentioned at the beginning.
  • Figure 2 shows the beam path of the opto-electronic glasses, for example for the colors red, green and blue with the individual components and groups in the receiving and projection channel. 10
  • the glasses are placed on an observer.
  • the BG glasses serve as beam splitters.
  • transmission for the light from the outside world, and in reflection, as an imaging surface of the light backscattered by the retina NH through the eye AA, which is generated with the aid of further imaging elements and a biaxial scanner for horizontal (HSS) and vertical deflection (VSS) is fed to a photo receiver in a receiving unit.
  • the beam path is designed in such a way that the extension of the line of sight from the detector through the glasses always ends in the absorbing layer in a radiation sink SS.
  • the extension of the line of sight of the eye through the glasses runs to the outside world AW.
  • the simplest method of beam splitting on BG glasses is the use of 50% transmitting and 50% reflecting mirror glasses. Active, electronically controllable mirrors that switch from complete transmission to complete reflection in the two scanning cycles can also be used.
  • the glasses can also be designed as a transparent lens which is attached to the head of the operator and placed in front of the eye.
  • the eye AA forms parallel or almost parallel bundles of rays on the retina NH from the outside world AW.
  • the fulcrum of the rays at different viewing angles to the outside world is in the pupil of the eye AP.
  • the invention is based on a largely identical beam path for the left and right eyes.
  • the invention provides that either the lenses of their lenses are individually adjusted by correspondingly different designs of the curvature of the outside and the inside, or that contact lenses are worn.
  • the curvature of the inside and outside of the BG glasses is identical.
  • the light scattered back from the eye by each individual pixel of the retina is in the same way an almost parallel bundle of rays which runs the same way as the incident light in the opposite direction to the inside of the partially reflective spectacle lens BG.
  • the curvature of this surface is designed so that 1 1
  • auxiliary mirror HS collimates the beams again and images them so that they run over the common pivot point on the axis of a horizontal scanner mirror HSS.
  • a vertical deflection is carried out by a second scanner mirror VSS.
  • the beam path between the projection and the receiving channel is separated with the help of a switching mirror SUS.
  • a focusing device FE is arranged in the beam path of the projection unit behind the beam switch SUS and adjusts the size of the laser image spot and the scanned spot on reception via a visual field diaphragm GFB on the retina NH.
  • the retinal reflex with the use of dichroic filters (DFR, DFG and DFB) and three separate detectors (PMR, PMG and PMB) in e.g. three color channels is divided so that a largely unadulterated color image can be recorded.
  • DFR dichroic filters
  • PMR photosensitive detector
  • PMG three separate detectors
  • PMB the beams of up to three lasers in the red, green and blue spectral range (LR, LG, LB) are combined with dichroic beam splitters after the separate image modulation of each color (MR, MG, MB) on a common axis.
  • the optical signal with dichroic filters (DFR, DFG and DKB) in the receiving channel is broken down into the three color components by the three photo receivers, preferably photomultipliers (PMR, PMG and PMB), into the three basic colors and measured separately. Because of the weak light signals, mainly photon counting methods will be used.
  • a marking e.g. a crosshair or a circle
  • a single color will be necessary, with a corresponding reduction of the three color channels of the laser to only one color channel.
  • a simple button in various embodiments can be used as a triggering or operating element.
  • a voice command can also be used, provided that voice recognition is available on the device to be operated.
  • the system can also be triggered by fixing it over a certain period of time.
  • the transmission of the other data from the image processing computer of the optoelectronic glasses to the device or system can be carried out acoustically, via radio or via IR connections.
  • the eye When capturing image information according to the invention using optoelectronic glasses, the eye is fixed on the original during the recording. Since the picture templates are stationary, a lower picture frame frequency can be used under certain circumstances than with the usual video and television standards. Multiple images can also be integrated. Both ways can be used for signal amplification in dim lighting.
  • a rough check of the recorded image is possible from time to time in the glasses, similar to modern video cameras.
  • the easiest way to achieve this is to place a dark shutter on the outside of the glasses, which blocks the view to the outside during this time.
  • the stored image can then be viewed via the reflection on the inside of the glasses against the black background of the closure.
  • Equalization is performed using stored data on the curvature of the retina.
  • Data for the rectification can also be obtained by simultaneously mirroring an auxiliary pattern, which is preferably invisible to the retina, into the eye.
  • the recorded image can be processed stereoscopically in two channels. Furthermore, information lying at least partially in the infrared range can be processed further.
  • the recorded image can be used according to the invention for the production of photographic still images, motion picture recordings, free-format scanner recordings, for telescopic reproduction and / or recording, or for the production of copies.
  • a variable detail frame is projected into the eye to position the image recording.
  • FIGS. 3 and 4 show, using a sketch of a road course, how differently narrow and wide curves appear in perspective to the driver's eye. they show 14
  • FIGS. 5 and 6 show a sketch of a straight course of the road in the first case that the vehicle is driving normally in the middle of the right lane and in the second case that it is driving too far to the right in the right lane. Both can be recognized by changing the angle and position of the marking lines of the road relative to the windshield frame. In this case, the position of the vehicle in the lane is derived by evaluating the image of the course of the road in relation to the image of the windshield frame.
  • FIGS. 7 and 8 show the perspective change in the position of the images of two cars in front in the driver's right and left eyes. Both eyes fix the bus in the background (circle). The car in the foreground is to the right or left of the center. The computer can derive the relative position and distance to the two vehicles from this image jump.
  • the information obtained can be used for a variety of control signals.
  • the determined image information of the eyes can e.g. with current driving data, geometry data of the vehicle, or also with stored image data, such as Traffic signs are correlated.
  • driving systems such as brakes activated, the steering hardened, the driving lights or fog lights switched on and off or adapted to the viewing direction.
  • Any existing IR lighting system can be activated to improve the fog light values.
  • the visual acuity can be improved locally in the event of poor accommodation for reading vehicle instruments.
  • the image information obtained from both eyes can be used in connection with an activation control element for operating vehicle functions.
  • the image information obtained can also be temporarily stored in a vehicle data memory for the reconstruction of subjective and objective traffic situations.
  • the airbag can be deactivated, for example, when an illegal eye position is detected, which suggests an unsuitable sitting position of the driver.
  • the blinking duty cycle is expediently used to determine irregularities such as sleep or stress.
  • a method for operating systems by optically capturing the associated control element or object, the analysis of the image pattern of the fovea centralis of both eyes using opto-electronic glasses and an associated image processing and storage system triggering the assigned function by means of a single suitable control element .
  • the single control element can trigger several different ones
  • the operating system can be spatially separated from the systems to be operated. Fixing the too 16
  • operating system can be recognized with the eyes and used to operate them.
  • the fixing of a discrete control element, symbol or a discrete shape can also be recognized with the eyes and used to operate it.
  • the opto-electronic glasses can additionally project a pattern onto the retina and, if the pattern matches the image of the control element, the operation can be triggered.
  • the operating system consisting of the opto-electronic glasses and the single control element, can be movable. Data is preferably transmitted by radio, IR or ultrasound to the actual operating system, e.g. a PC.
  • a desired icon can be fixed and triggered using the single control element.
  • the recognized control element, icon, etc. can also be fixed over a predetermined time and triggered after the time has elapsed. It can also be triggered by any acoustic command.
  • the systems can be operated via a decentralized arrangement of the operating function in the system, the operation being triggered by a coded signal.
  • Group 2 Functions of mobile systems are controlled here.
  • image information obtained from the retinal reflex image of the eye is evaluated by means of the optoelectronic glasses using a computer and used to obtain control signals.
  • Geometric image information and / or brightness information can be evaluated, and relative assignments of geometric image information of both eyes can be evaluated. Changes in the image information of both eyes over time can also be evaluated.
  • the determined image information of the eyes can be correlated with current driving data, or they can be correlated with geometry data of a vehicle.
  • the determined image information of the eyes can also be stored with stored image data, such as Traffic signs are compared.
  • the image information obtained can be used, for example, as follows: a) to trigger optical, acoustic or haptic warning signals, 17
  • the evaluation of the retinal image can thus be used to activate vehicle functions, and at the same time, image processing can take place as required and a synchronous rear projection of the improved image into the eye can be carried out.
  • the fog light and, if necessary, the rear fog light can be switched by the control.
  • Visual acuity can also be improved locally in the event of poor accommodation for reading vehicle instruments.
  • an existing IR lighting system can be activated to improve the fog light values.
  • the image information obtained from both eyes is preferably used in conjunction with an activation control element for operating vehicle functions.
  • the image information obtained can be temporarily stored in a vehicle data memory for the reconstruction of subjective and objective traffic situations. They can also be used to deactivate the airbag when an illegal eye position is detected.
  • the blinking duty cycle can be used to determine irregularities, such as sleep or stress, and it can be determined whether the same geometrical image information is located in the fovea centralis in both eyes in order to recognize irregularities.
  • image information which is preferably stationary, is acquired by clicking on it with the human eye, the reflection image of the retina of the eyes being recorded in a scanning process by means of the opto-electronic glasses and being fed to an image processing and storage system.
  • the recording can also be carried out by simultaneously mirroring an auxiliary pattern that is invisible to the retina and comparing it with the eye.
  • the recorded image is preferably checked by rear projection into the eye.
  • the captured image is e.g. subject to color adjustment (white balance) and / or optionally processed in monochrome or color. It can also be processed stereoscopically in two channels, and information in the infrared range can be processed at least partially.
  • the recorded image can be used, for example, for the production of photographic still images, motion picture recordings, free-format scanner recordings, for telescopic reproduction and / or recording, and for the production of copies.
  • a variable cutout frame is preferably projected into the eye and an improved image can be projected onto the retina in synchronism with the recorded image.

Abstract

Es wird ein Verfahren zum Steuern oder Bedienen von Systemen durch Bildinformationen vorgeschlagen, bei dem ein Objekt oder eine Szene mit dem menschlichen Auge durch eine opto-elektronische Brille erfaßt wird und das Netzhautreflexbild zur Gewinnung von Bildinformationen aufgenommen wird. Die Bildinformationen werden ausgewertet und mit gespeicherten Daten verglichen. Anschließend werden Steuersignale zur Auslösung einer Funktion eines Systems erzeugt. Das System kann ein mobiles System sein, wie z.B. ein Fahrzeug, oder auch Subsysteme des Fahrzeugs umfassen. Auch andere Systeme können bedient werden, wobei insbesondere die Auslösung der zugeordneten Funktion durch ein einziges geeignetes Bedienelement erfolgt. Bildinformationen werden in einem Scan-Vorgang vom Reflexionsbild der Netzhaut aufgenommen und einem Bildverarbeitungs- und Speichersystem zugeführt. Auch kann in einem System ein Aufnahme- oder Kopiervorgang ausgelöst werden, um das vom Auge gesehene Objekt als Bild aufzunehmen, zu kopieren und/oder zu übertragen.

Description

Verfahren zum Steuern oder Bedienen von Systemen durch Bildinformationen und Verfahren zur Erfassung von Bildinformationen
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern oder Bedienen von Systemen durch Bildinformationen und ein Verfahren zur Erfassung von Bildinformationen.
Die breite Anwendung einer Vielzahl von relativ komplexen elektronischen Geräten im Haushalt, am Arbeitsplatz und in Fahrzeugen, die ständig bedient werden, nimmt immer mehr zu. Als Beispiel seien Fernseh- und Videogeräte, Computer, Drucker, Beleuchtungseinrichtungen, Telefon, Fax und Handy, sowie Radio, CD-Spieler und GPS- Navigationsgeräte genannt. Heute werden Geräte meistens mit Hilfe von Hebeln, Tasten und Schaltern, oder durch Menüführung an einem Bildschirm und Anwählen der gewünschten Bedienfunktion durch Tastatur, Trackball, Bedienstift oder Maus, bedient.
Beim Bedienen muß ein Bedienelement optisch oder haptisch gesucht werden, und durch optische Fixierung mit den Augen und/oder Ertasten der Form muß das Bedienelement erfaßt werden.
Bei Menüführung sind mehrere Betätigungen nötig, nämlich die Auswahl des Menüpunktes über das Bedienelement einerseits und Auslösen der Funktion und über ein weiteres
Bedienelement andererseits. Eine Funktionskontrolle kann dabei durch Rückmeldung über eine Funktionsbeleuchtung erfolgen.
Die Vielzahl von Funktionen üblicher Geräte und Systeme erfordert eine entsprechend hohe Anzahl von Bedienelementen. Dies erschwert das Auffinden und Bedienen und führt außerdem zu einem hohen Platzbedarf. Die Unterbringung mehrerer Bedienelemente ist ergonomisch oft nicht gelöst. Bei der Notwendigkeit der Bedienung von mehreren Schaltern nach einem bestimmten Ablauf entstehen häufig Fehler. Weiterhin müssen Funktionen erlernt werden und es ist erforderlich, Bedienungsanleitungen zu studieren, was vor allem Kindern und älteren Personen oft schwerfällt. Zumeist fehlt auch eine
Standardisierung des Bedienortes und der Gestaltung und Anordnung der Elemente. Sie stören oft die ästhetische Gestaltung und begrenzen die Möglichkeiten des Designs. Insbesondere beim Führen von mobilen Systemen benötigt der Fahrer seine volle Konzentration. Der größte Teil von Verkehrsunfällen ist auf eine momentane Unaufmerksamkeit des Fahrers zurückzuführen. Andererseits wird der Fahrer heute in seiner Aufmerksamkeit beim Fahren durch andere Tätigkeiten, wie z.B. Unterhaltung aus dem Radio, Aufnahme von Verkehrs- und Navigationsinformationen, sowie durch die Bedienung von Systemen abgelenkt.
Obwohl das Fahren durch verbesserte Technik am Fahrzeug zunehmend erleichtert und sicherer wird, wächst der Bedarf an Automatisierung der Steuerfunktionen der Fahrzeuge zur Entlastung des Fahrers. Die ersten Maßnahmen in dieser Richtung sind z.B. Tempomaten, die eine feste Geschwindigkeit bei längeren Fahrten, z.B. entlang von Autobahnen, einregeln. Weiterhin sind intelligente Kamerasysteme in Entwicklung, welche die Fahrsituation ständig überwachen und streckenweise autonomes Fahren ermöglichen sollen. Eine automatische Steuerung der Fahrzeugfunktionen wäre nicht alleine zur Entlastung des Fahrers bei normalen Fahrsituationen von Vorteil, sondern auch in kritischen Situationen, z.B. in Fällen, in denen das Reaktionsvermögen des Fahrers zu langsam ist, oder in denen der Fahrer in andere Weise behindert ist, z.B. durch Übermüdung oder plötzliche Krankheit.
Daher ist es wünschenswert, insbesondere Fahrzeugfunktionen zumindest weitgehend automatisch zu steuern, z.B. durch Bildinformationen.
Bildinformationen werden heutzutage durch autarke, personenunabhängige Bildaufnahmegeräte wie z.B. Kameras oder Scanner gewonnen. Diese Geräte erfordern eine Ausrichtung unter Zuhilfenahme von speziellen Einrichtungen wie Kamerasucher oder Einlegeschablone. Der Blickwinkel der Bildvorlage (Objekt) bzw. das Aufnahmeformat ist durch das verwendete Objektiv und die Bildvorlage bestimmt. Eine geometrische Veränderung des Bildes erfordert einen Wechsel der Objektive bzw. des Gerätes bei zu großen Formaten. Viele dieser Geräte sind aufgrund ihrer Stromversorgung und ihres Gewichtes ortsgebunden. Hinzu kommt, daß für jede Gerätefunktion eine getrennte Geräteausführung erforderlich ist. In der Druckschrift DE 196 31 414 A1 wird eine teiltransparente Brille beschrieben, mit deren Hilfe über eine Rückspiegelung an ihrer Innenseite das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen wird. Diese in verschiedenen Varianten beschriebene Vorrichtung ermöglicht, daß das vom Auge direkt gesehene Bild mit einem zweiachsigen Scanner von der Netzhaut des Auges seriell abgetastet wird und von einem Computer weiterverarbeitet wird. Mit Hilfe einer Beleuchtungseinrichtung, vorzugsweise mit Lasern, kann über den gleichen Lichtweg in umgekehrter Richtung und nach nochmaliger Reflexion an der Innenseite der Brille physiologisch verzögerungsfrei das zuvor aufgenommene und verarbeitete Bild dem ursprünglichen Bild überlagert werden. Durch Modifikation des Bildes und Rückprojektion ins Auge soll der Seheindruck verbessert werden.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Steuern oder Bedienen von Systemen anzugeben, das die Bedienung der Systeme erleichtert und den jeweiligen Bediener entlastet. Insbesondere beim Führen von Fahrzeugen soll durch die Entlastung des Fahrers die Sicherheit im Verkehr erhöht werden.
Diese Aufgabe wird gelöst durch das Verfahren zum Steuern oder Bedienen von Systemen gemäß Patentanspruch 1 und das Verfahren zur Erfassung von Bildinformationen gemäß Patentanspruch 1 1. Weitere vorteilhafte Merkmale, Aspekte und Details der Erfindung ergeben sich aus den abhängigen Ansprüchen, der Beschreibung und den Zeichnungen.
Das erfindungsgemäße Verfahren zum Steuern oder Bedienen von Systemen umfaßt die Schritte:
Erfassen eines Objekts oder einer Szene mit dem menschlichen Auge durch eine optoelektronische Brille und Aufnehmen des Netzhautreflexbildes zur Gewinnung von Bildinformationen; Auswerten der Bildinformationen und Vergleich der Bildinformationen mit gespeicherten Daten; und Erzeugen von Steuersignalen zur Auslösung einer Funktion eines Systems. Vorteilhafterweise werden die Bildmuster der Fovea centralis beider Augen erfaßt und mit einem gespeicherten Muster verglichen, wobei bei Übereinstimmung der Muster die Funktion durch Aktivierung eines Bedienelements ausgelöst wird. Dabei kann das zu bedienende System oder ein Bedienelement mit dem Auge oder den Augen fixiert werden um es zu bedienen. Das Auslösen kann z.B. durch einen akustischen Befehl oder durch fixieren des Objekts über eine vorbestimmte Zeit erfolgen.
Bevorzugt werden durch die Steuersignale Funktionen eines Fahrzeugs gesteuert, wie z.B. Bremsen, Lenkung, Lichter, oder sie werden zur Auslösung von Warnsignalen verwendet. Die Bildinformationen können mit aktuellen Fahrdaten und/oder Fahrzeugdaten korreliert werden. Bevorzugt werden relative Zuordnungen geometrischer Bildinformationen beider Augen und/oder zeitliche Veränderungen der Bildinformationen beider Augen ausgewertet.
Insbesondere kann ein Infrarot-Beleuchtungssystem zur Sichtverbesserung aktiviert werden, während das Netzhautreflexbild verändert und synchron ins Auge zurück projiziert wird. Die gewonnene Bildinformation kann z.B. zur Anpassung der Beleuchtung oder des Fahrlichts an die jeweilige Blickrichtung verwendet werden. Auch können gewonnene Bildinformationen temporär in einem Speicher bzw. Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven Szenen oder Verkehrssituationen abgelegt werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Erfassung von Bildinformationen geschaffen, mit den Schritten:
Erfassen eines Objekts oder einer Szene mit dem menschlichen Auge durch eine opto- elektronische Brille und Aufnehmen des Netzhautreflexbildes durch einen Scan-Vorgang; Zuführen des aufgenommenen Netzhautreflexbildes zu einem Bildverarbeitungs- und Speichersystem; und Auslösen einer Aufnahme- oder Kopierfunktion um das vom Auge gesehene Objekt aufzunehmen, zu kopieren und/oder zu übertragen.
Bevorzugt wird bei den erfindungsgemäßen Verfahren ein Hilfsmuster ins Auge projiziert um einen Ausschnittsrahmen bereit zu stellen oder das aufgenommene Bild zu entzerren. Das Hilfsmuster kann auch für das Auge unsichtbar sein und mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut kann eine Entzerrung des Bildes erfolgen.
Gemäß einer Ausgestaltung der Erfindung wird durch optische Erfassung der Bedienfunktion eines Geräts mit den Augen an einer geeigneten Stelle und Aktivieren eines einzigen Bedienelements die gewünschte Funktion ausgelöst.
Dabei wird das von der Netzhaut reflektierte Muster im Bereich der Fovea Centralis beider Augen ausgewertet, insbesondere durch Vergleich der Muster mit gespeicherten Mustern unter Prüfung der Deckungsgleichheit. Bei Übereinstimmung der beiden Muster mit dem gespeicherten Muster kann der Prozeß durch Aktivierung eines einzigen Bedienelements für viele Funktionen geschaltet werden.
Dabei wird die Tatsache ausgenutzt, daß ein Gegenstand immer dann von Menschen sicher erfaßt und ggf. erkannt ist, wenn sich der Gegenstand exakt im Mittelpunkt der Fovea Centralis bzw. Netzhautgrube, dem Ort des schärfsten Sehens, beider Augen befindet, der nur den kleinen Winkelbereich von nur einigen Grad vom Auge ausgesehen beträgt. Diese Erfassung wird zur Steuerung von Systemen herangezogen.
So eine Fixierung ist auch bei bekannten Verfahren nötig, wenn ein System, z.B. über eine Maus, bedient werden soll. Die Fixierung geschieht dabei auf den Mauszeiger. Gleichzeitig muß aber beispielsweise auf einem Bildschirm das gewünschte Icon zur Bedienung gesucht und gefunden werden, was ebenfalls eine Fixierung benötigt. Erst wenn Mauszeiger und Icon gleichzeitig fixiert werden können, ist eine Bedienung über ein zusätzliches Bedienelement möglich. Dies führt bei vielen Menschen zu den o.g.
Koordinationsproblemen und damit verbunden zu einer ablehnenden Haltung zum System. Durch die Erfindung werden diese Nachteile überwunden.
Gemäß der vorliegenden Erfindung wird das Fixieren mit den Augen genutzt, um beispielsweise bekannte Gegenstände zu aktivieren. Dies kann beispielsweise erfolgen, in dem sich ein intelligentes und mit einem Bedienelement versehenes Bediensystem an einem bevorzugten Ort befindet. Betrachtet und fixiert nun der Bedienende das System, z.B. eine Lampe, deren Muster gespeichert ist, kann er diese beispielsweise mit dem einen Bedienelement einschalten, wenn sie nicht leuchtet, oder ausschalten, wenn sie leuchtet. Mit dem selben Bedienelement kann z.B. auf die gleiche Weise auch ein Fernseher an- bzw. ausgeschaltet werden.
Bei dieser Methode können nun auch einzelne Funktionen bzw. Bedienelemente bildhaft auf einem Monitor dargestellt werden, wo sie dann auch vom Auge fixiert werden und mit dem einzigen Bedienelement ausgelöst bzw. geschaltet werden können. Dieses Bedienelement kann z.B. durch einen akustischen Zuruf (z.B. „einschalten", „ausschalten", „abschwächen", „verstärken") und eine entsprechende Spracherkennung in dem Gerät, das bedient wird, ersetzt werden. Der Monitor, der klein gestaltet werden kann, ist dann das einzige Bedienelement des Geräts oder Systems und kann gleichzeitig verschiedene Funktionen zur Auswahl anbieten.
Es wird also das von den Augen des Bedienenden betrachtete und auf der Netzhaut abgebildete Bild des Bedienungselements oder Monitors von der Netzhaut aufgenommen, elektronisch gespeichert und vom Computer mit bekannten Mustern verglichen. Dies wird mit der opto-elektronischen Brille durchgeführt, die in der oben genannten DE 196 31 414 A1 sowie DE 197 28 890 A1 beschrieben ist.
Gemäß der vorliegenden Erfindung wird die opto-elektronische Brille dazu verwendet, um die genaue Fixation der Augen entweder rein passiv über die Aufnahme des Bildes im Bereich des schärfsten Sehens zu bestimmen oder mit Unterstützung einer über die Projektionseinheit der opto-elektronischen Brille eingespiegelte Markierung die Fixation in das Zentrum der Aufmerksamkeit zu lenken.
Damit das Bedienelement identifiziert werden kann, ist ein Vergleich des Bildes mit abgespeicherten Mustern der Bedienelemente im Computer möglich. Auch besteht die Möglichkeit, daß die Muster der vorhandenen Bedienelemente vom Gerät oder System selbst an den Bedienenden über IR oder Funk übertragen werden. Die bekannte Brille ist so ausgelegt, daß das auf der Netzhaut des Auges durch die Brille transmittierte Bild der Umgebung über die Rückspiegelung an der Innenseite der Brille seriell mit Hilfe eines Scanners mit einer festen Abtastfrequenz und eines empfindlichen Fotodetektors aufgenommen wird. Das serielle Bildsignal wird anschließend zum Bildverarbeitungsrechner geleitet.
Im Verfahren gemäß der vorliegenden Erfindung kann ein Teil des Bildaufnahmezyklus dazu verwendet werden, die Pupillenöffnung zu lokalisieren und zu verfolgen und die Symmetrieachse der Bildabtastung auf sie zu zentrieren. Damit kann die Bildaufnahme besonders gut den schnellen und langsamen Bewegungen des Auges folgen. Somit kann die Ausrichtung der beiden Augen gegeneinander Vermessen werden und die Bilder beider Augen können korreliert werden.
Durch die vorliegende Erfindung können mobile Systeme wie Personenkraftwagen, Nutzfahrzeuge und andere Landfahrzeuge sicherer gemacht werden und das Fahren wird erleichtert. Hierzu werden die mittels der opto-elektronischen Brille vom Netzhautreflexbild des Auges gewonnenen Bildinformation mit einem Rechner ausgewertet und zur Gewinnung von Steuerungssignalen verwendet.
Gemäß der Erfindung können auch ortsfeste Bildvorlagen wie etwa Bücher, Zeitungs- und Dokumentationstexte und Druckbilder mit Hilfe der opto-elektronischen Brille aufgenommen und verwertet werden. In diesem Fall ist das zu bedienende System ein Aufnahme-, Speicher-, Kopier- und/oder Übertragungssystem. Die Bildinformationen werden aus dem gleichen Blickwinkel, wie der Betrachter sie sieht, direkt von seinem Auge (Netzhaut) aufgenommen und im Computer weiterverarbeitet, abgespeichert, kopiert oder über elektronische Netzwerke (Fax, E-mail, Internet) verteilt. Zusätzlich kann ein verbessertes oder ergänztes Bild der Vorlage oder von Hilfsmustern und Schablonen mit Hilfe einer Laser-Projektionseinrichtung dem Originalbild überlagert werden.
Beim erfindungsgemäßen Verfahren zur Erfassung von Bildinformationen ist die optoelektronische Brille so ausgelegt, daß das auf der Netzhaut des Auges durch die Brille transmittierte Bild der Umgebung über die Rückspiegelung an der Innenseite der Brille bzw. ihrer Gläser seriell mit Hilfe eines Scanners mit einer festen Abtastfrequenz und eines empfindlichen Fotodetektors aufgenommen wird. Das serielle Bildsignal wird anschließend zu dem Bildverarbeitungsrechner geleitet. Damit die Bildaufnahme auch den schnellen und langsamen Bewegungen des Auges besser folgen kann, wird ein Teil des Bildaufnahmezyklus dazu verwendet, die Pupillenöffnung zu lokalisieren und zu verfolgen und die Symmetrieachse der Bildabtastung auf sie zu zentrieren. Dieser Vorgang passiert gleichzeitig an beiden Augen. Somit kann die Ausrichtung der beiden Augen gegeneinander Vermessen und die Bilder beider Augen können korreliert werden.
Augen- und Kopfbewegungen, die jede Person bei Bildbetrachtung und beim Lesen, wegen des geringen momentanen Schärfebereichs des Auges (ca. 1 °) und der begrenzten Bildaufnahmegeschwindigkeit ausführt, sind bei Aufnahmen mit der opto-elektronischen Brille nicht notwendig. Sobald das gesamte Bild der Vorlage auf der Netzhaut durch die Augenlinse scharf abgebildet ist, kann es von der opto-elektronischen Brille erfaßt werden. Die Aufnahmebedingungen, wie der Abstand zur Vorlage und der Aufnahmewinkel, werden je nach Anwendung unterschiedlich sein. Die kürzest mögliche Aufnahmezeit entspricht der Bildrahmenfrequenz des Scanners.
Das aufgenommene Bild kann mit einer typischen Videonorm im Rechner verarbeitet werden. Da die Bilder aufgrund der Krümmung der Netzhaut und durch die unterschiedlichen Blickwinkel geometrisch verzerrt sind, wird nach der Aufnahme eine Umrechnung des Bildes auf ein bestimmtes Format notwendig sein. Da die Entzerrung der Bilder ohne optische Hilfsmittel einen relativ hohen Rechenaufwand bedeutet, sieht die Erfindung vorteilhafterweise vor, daß ein geometrisches Hilfsmuster (z.B. ein regelmäßiges, dichtes Netz) bevorzugt im unsichtbaren infraroten Strahlungsbereich mit dem Laserprojektor während oder zwischen zwei Bildaufnahmen auf die Netzhaut projiziert wird. Aus dem rechnerischen Vergleich dieses internen Hilfsbildes mit dem Außenbild wird dann eine vereinfachte Entzerrung in dem Bildrechner ermöglicht.
Im Folgenden werden verschiedene Ausgestaltungen des erfindungsgemäßen Verfahrens anhand der Zeichnungen beschrieben. Dabei zeigen: Figur 1 schematisch die bekannte opto-elektronische Brille und ihre Wechselwirkung mit dem menschlichen Sehapparat,
Figur 2 die Verarbeitung der Signale in einem Blockschaltbild entsprechend der oben genannten Veröffentlichung, Figur 3 schematisch den Blick aus einem Fahrzeug auf eine enge Kurve,
Figur 4 schematisch den Blick aus einem Fahrzeug auf eine weite Kurve,
Figur 5 schematisch den Blick auf einen geraden Straßenverlauf bei normal fahrendem
Fahrzeug,
Figur 6 schematisch den Blick auf einen geraden Straßenverlauf bei weit rechts fahrendem Fahrzeug,
Figur 7 schematisch den Blick auf zwei vorausfahrende Fahrzeuge mit dem linken Auge und
Figur 8 schematisch den Blick auf zwei vorausfahrende Fahrzeuge mit dem rechten Auge.
Figur 1 zeigt ein schematisches Bild der bekannten Brille, wenn sie aufgesetzt ist. Der
Strahlengang für die Aufnahme des Netzhautreflexes über Spiegelung der Strahlachsen an der Innenseite der Brille, sowie das Gesichtsfeld des Auges in Transmission durch die Brille ist angedeutet.
Die einzelnen optischen, elektronischen und mechanischen Komponenten wie Spiegel, Fotoempfänger, Vorverstärker und Scanner können heute ähnlich wie z.B. moderne Hörgeräte sehr stark miniaturisiert werden, damit das Aufsetzen der Brille, ähnlich wie bei einer Sonnenbrille, keine Behinderung für den Bediener bzw. Fahrer bedeutet. Die Datenübertragung von der Brille zum Rechner oder zu einem anwenderspezifischen Mikroprozessor oder sonstigen elektronischen Einrichtungen, z.B. des Fahrzeugs, kann über Glasfaserkabel oder IR-Datenübertragung durchgeführt werden. Einzelheiten dazu sind der eingangs genannten Druckschrift zu entnehmen.
Figur 2 zeigt den Strahlengang der opto-elektronischen Brille, beispielhaft für die Farben Rot, Grün und Blau mit den einzelnen Bauteilen und Gruppen im Empfangs- und Projektionskanal. 10
Die Brille wird entsprechend Figur 1 einem Betrachter aufgesetzt. Die Brillengläser BG dienen als Strahlteiler. In Transmission, für das Licht aus der Außenwelt, und in Reflexion, als eine Abbildungsfläche des von der Netzhaut NH durch das Auge AA rückgestreuten Lichts, das mit Hilfe weiterer Abbildungselemente und eines zweiachsigen Scanners für die Horizontal-(HSS) und Vertikalablenkung (VSS) einem Fotoempfänger in einer Empfangseinheit zugeführt wird. Der Strahlengang wird gleichzeitig derart gestaltet, daß die Verlängerung der Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht in einer Strahlungssenke SS mündet. Die Verlängerung der Sichtlinie des Auges durch die Brille läuft dagegen zur Außenwelt AW.
Die einfachste Methode der Strahlteilung an den Brillengläsern BG ist die Verwendung von 50% transmittierenden und 50% reflektierenden Spiegelgläsern. Es können auch aktive elektronisch steuerbare Spiegel, die von vollständiger Transmission bis vollständiger Reflexion in den beiden Abtastzyklen umschalten, eingesetzt werden. Die Brille kann auch als durchsichtige Scheibe ausgestaltet sein, die am Kopf des Bedieners befestigt und vor dem Auge plaziert ist.
Das Auge AA bildet von der Außenwelt AW parallele oder nahezu parallele Strahlenbündel auf der Netzhaut NH ab. Der Drehpunkt der Strahlenbündel bei unterschiedlichem Betrachtungswinkel zur Außenwelt liegt in der Pupille des Auges AP.
Die Erfindung geht von einem weitgehend identischen Strahlengang für das linke und rechte Auge aus. Bei Fehlsichtigen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, sieht die Erfindung vor, daß entweder die Brillengläser in ihrer Brechung durch entsprechende unterschiedliche Auslegung der Wölbung der Außenseite und der Innenseite individuell angepaßt sind, bzw. daß Kontaktlinsen getragen werden. Für Normalsichtige ist die Wölbung der Innen- und Außenseite der Brillengläser BG identisch.
Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurückgestreute Licht ist in gleicher Weise ein nahezu paralleles Strahlenbündel, das den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung zur Innenseite des teilweise reflektierenden Brillenglases BG läuft. Die Krümmung dieser Fläche wird so gestaltet, daß 1 1
gemeinsam mit der Augenlinse ein zweites Bild des Bildpunktes auf der Netzhaut in einer Zwischenebene entsteht. Ein Hilfsspiegel HS kollimiert die Strahlen erneut und bildet sie so ab, daß sie über den gemeinsamen Drehpunkt auf der Achse eines horizontalen Scannerspiegels HSS verläuft. Eine vertikale Ablenkung wird durch einen zweiten Scannerspiegel VSS durchgeführt.
Der Strahlengang zwischen dem Projektions- und dem Empfangskanal wird mit Hilfe eines Schaltspiegels SUS getrennt. Im Strahlengang der Projektionseinheit hinter dem Strahlschalter SUS ist eine Fokusiereinrichtung FE angeordnet, die die Größe des Laserbildflecks und des abgetasteten Flecks beim Empfang über eine Gesichtsfeldblende GFB auf der Netzhaut NH einstellt.
Es ist vorgesehen, daß der Netzhautreflex mit der Verwendung von dichroitischen Filtern (DFR, DFG und DFB) und drei getrennten Detektoren (PMR, PMG und PMB) in z.B. drei Farbkanäle aufgeteilt wird, damit ein weitgehend unverfälschtes Farbbild aufgenommen werden kann. Auf der Laserseite werden ebenso mit dichroitischen Strahlteilern die Strahlen von bis zu drei Lasern im roten, grünen und blauen Spektralbereich (LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, MB) auf einer gemeinsamen Achse vereinigt. Zur farbtreuen Bildaufnahme wird das optische Signal mit dichroitischen Filtern (DFR, DFG und DKB) im Empfangskanal in die drei Farbkomponenten von den drei Fotoempfängern, vorzugsweise Fotomultipliem (PMR, PMG und PMB), in die drei Grundfarben zerlegt und getrennt vermessen. Wegen der schwachen Lichtsignale werden vor allem Photon-Counting Verfahren zum Einsatz kommen.
In vielen Anwendungen wird nur eine schwarz-weiß Bilddarstellung notwendig sein. Dann können die drei Farbkanäle zu einem einzigen zusammengelegt werden. Für den Fall jedoch, daß infrarote Bildmuster zur Bildentzerrung verwendet werden, würde einer der Kanäle in der Sende- und Empfangseinheit für das entsprechende Wellenlängenintervall ausgelegt sein. 12
Für die Projektion einer Markierung, z.B. eines Fadenkreuzes bzw. eines Kreises, wird in den meisten Fällen eine einzige Farbe notwendig sein, mit einer entsprechenden Reduktion der drei Farbkanäle der Laser auf nur einen Farbkanal.
Es versteht sich, daß die verschiedenen in den oben genannten Veröffentlichungen beschriebenen Abtastmuster der opto-elektronischen Brille, wie z.B. Zeilen-, Spiral- und Kreisabtastung hier auch eingesetzt werden können.
Als Auslöse- bzw. Bedienelement kann ein einfacher Taster in verschiedensten Ausführungsformen verwendet werden. Ein Sprachkomando kann auch verwendet werden, vorausgesetzt, daß eine Spracherkennung bei dem zu bedienenden Gerät vorhanden ist. Auch kann die Auslösung des Systems durch Fixieren über einen bestimmten Zeitraum erfolgen.
Die Übertragung der sonstigen Daten des Bildverarbeitungscomputers der optoelektronischen Brille zum Gerät oder System kann akustisch, über Funk oder über IR- Verbindungen durchgeführt werden.
Bei der erfindungsgemäßen Erfassung von Bildinformationen mittels der opto- elektronischen Brille ist das Auge auf die Vorlage während der Aufnahme fixiert. Da die Bildvorlagen ortsfest sind, kann unter Umständen eine geringere Bildrahmenfrequenz als bei den üblichen Video- und Fernsehnormen verwendet werden. Es können auch mehrere Bilder aufintegriert werden. Beide Wege können bei schwacher Beleuchtung zur Signalverstärkung verwendet werden.
Bei den meisten Anwendungen wird eine gute Auflösung über einen relativ großen Winkelausschnitt des Gesichtsfeldes des Auges verlangt. Dies läßt sich am besten durch Einstellung einer konstanten Auflösung während der gesamten Dauer der Abtastung erreichen. Dies ist anders als bei der Anwendung der opto-elektronischen Brille bei der freien Betrachtung der Umgebung mit dem Auge, wo eine hohe Auflösung im Bereich des schärfsten Sehens in der Fovea Centralis eingestellt wird, die aber zu den Rändern des Gesichtsfeldes auf der Netzhaut stark abnehmend eingestellt wird. 13
Bei einer weiteren Ausgestaltung ist vorgesehen, daß in der Brille, ähnlich wie in modernen Videokameras, von Zeit zu Zeit eine grobe Überprüfung des aufgenommenen Bildes möglich ist. Dies läßt sich hier am einfachsten dadurch erreichen, daß der Brille außen ein dunkler Verschluß vorgesetzt wird, der während dieser Zeit die Sicht nach außen versperrt. Mit Hilfe des Laserprojektors kann dann das gespeicherte Bild über die Spiegelung an der Innenseite der Brille gegen den schwarzen Hintergrund des Verschlusses betrachtet werden.
Zweckmäßiger Weise wird bereits bei der Aufnahme im Bedarfsfall eine geometrische
Entzerrung mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut vorgenommen. Es können auch durch gleichzeitige Einspiegelung eines bevorzugt für die Netzhaut unsichtbaren Hilfsmusters in das Auge Daten für die Entzerrung erhalten werden.
Das aufgenommene Bild kann ggf. stereoskopisch in zwei Kanälen weiterverarbeitet werden. Des weiteren können zumindest teilweise im Infrarotbereich liegende Informationen weiterverarbeitet werden.
Das aufgezeichnete Bild kann gemäß der Erfindung zur Herstellung von fotografischen Stehbildaufnahmen, von Laufbildaufzeichnungen, von Freiformat-Scanneraufzeichnungen, zur teleskopischen Wiedergabe und/oder Aufzeichnung, oder zur Herstellung von Kopien verwendet werden.
Zur Positionierung der Bildaufzeichnung wird ggf. ein variabler Ausschnittsrahmen in das Auge projiziert.
Die Bedienung von möglichen Fahrzeugfunktionen gemäß der vorliegenden Erfindung wird nun anhand der weiteren Figuren beschrieben.
Die Figuren 3 und 4 zeigen anhand einer Skizze eines Straßenverlaufs, wie unterschiedlich enge und breite Kurven perspektivisch dem Auge des Fahrers erscheinen. Sie zeigen 14
gleichzeitig, daß aus der Vermessung des geometrischen Verlaufs eine Anpassung der Geschwindigkeit abgeleitet werden kann.
Die Figuren 5 und 6 zeigen anhand einer Skizze eines geraden Straßenverlaufs im ersten Fall, daß das Fahrzeug normal in der Mitte der rechten Spur fährt und im zweiten Fall, daß es zu weit rechts auf der rechten Spur fährt. Beides ist durch Winkeländerung und Positionsänderung der Markierungslinien der Straße relativ zum Windschutzscheibenrahmen erkennbar. In diesem Falle wird durch eine Auswertung des Bildes des Straßenverlaufs in Relation zum Bild des Windschutzscheibenrahmens die Position des Fahrzeugs auf der Fahrspur abgeleitet.
Die Figuren 7 und 8 zeigen die perspektivische Änderung der Position der Bilder von zwei vorausfahrenden Autos im rechte und linken Auge des Fahrers. Dabei fixieren beide Augen den Bus im Hintergrund (Kreis). Der PKW im Vordergrund befindet sich rechts beziehungsweise links von der Mitte. Aus diesem Bildsprung kann der Rechner die Relativposition und Entfernung zu den beiden Fahrzeugen ableiten.
Die gewonnenen Informationen können zu vielfältigen Steuerungssignalen verwendet werden. Die ermittelten Bildinformationen der Augen können z.B. mit aktuellen Fahrdaten, Geometriedaten des Fahrzeugs, oder auch mit gespeicherten Bilddaten, wie z.B. Verkehrsschildern, korreliert werden.
Je nach Beurteilung der Situation durch den Rechner werden optische, akustische bzw. haptische Warnsignale ausgelöst, Fahrsysteme wie Bremsen aktiviert, die Lenkung verhärtet, das Fahrlicht oder die Nebelleuchten ein- und ausgeschaltet oder an die Blickrichtung angepaßt. Ein ggf. vorhandenes IR-Beleuchtungssystem kann zur Verbesserung der Nebellichtwerte aktiviert werden.
Femer kann gleichzeitig mit der Aktivierung von Fahrzeugfunktionen die oben angesprochene Bildbearbeitung stattfinden und eine synchrone Rückprojektion eines verbesserten Bildes in das Auge durchgeführt werden. 15
Des weiteren kann die Sehschärfe bei mangelhafter Akkomodation zum Ablesen von Fahrzeuginstrumenten örtlich verbessert werden.
Ferner kann die gewonnene Bildinformation beider Augen in Verbindung mit einem Aktivierungs-Bedienelement zur Bedienung von Fahrzeugfunktionen verwendet werden.
Die gewonnene Bildinformation kann temporär zusätzlich in einem Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven und objektiven Verkehrssituationen abgelegt werden.
Ferner kann beispielsweise bei Erkennung einer unerlaubten Augenposition, die auf eine ungeeignete Sitzstellung des Fahrers schließen läßt, der Airbag deaktiviert werden.
Des weiteren wird zweckmäßig das Lidschlag-Tastverhältnis zur Ermittlung von Unregelmäßigkeiten, wie Schlaf oder Streß verwendet.
Schließlich kann ermittelt werden, ob sich in beiden Augen die gleiche geometrische Bildinformation in der Fovea centralis befindet, um Unregelmäßigkeiten, die auf eine Beeinträchtigung der Reaktionsfähigkeit des Fahrers schließen lassen, zu erkennen.
Die beschriebenen Ausgestaltungen der Erfindung lassen sich daher allgemein in folgende drei Gruppen zusammenfassen:
Gruppe 1 :
Ein Verfahren zum Bedienen von Systemen durch optische Erfassung des dazugehörigen Bedienelements oder Gegenstands, wobei durch die Analyse des Bildmusters der Fovea Centralis beider Augen mittels einer opto-elektronischen Brille und einem dazugehörigen Bildverarbeitungs- und Speichersystem die Auslösung der zugeordneten Funktion durch ein einziges geeignetes Bedienelement erfolgt.
Dabei kann das einzige Bedienelement zur Auslösung mehrerer unterschiedlicher
Funktionen auch unterschiedlicher Systeme verwendet werden. Das Bediensystem kann von den zu bedienenden Systemen räumlich getrennt sein. Das Fixieren des zu 16
bedienenden Systems kann mit den Augen erkannt und dazu verwendet werden, dieses zu bedienen. Auch kann das Fixieren eines diskreten Bedienelements, Symbols oder einer diskreten Form mit den Augen erkannt und dazu verwendet werden, dieses zu bedienen.
Durch die opto-elektronische Brille kann zusätzlich ein Muster auf die Netzhaut projiziert und bei Übereinstimmung des Musters mit dem Bild des Bedienelements die Bedienung ausgelöst werden. Das Bediensystem, bestehend aus der opto-elektronischen Brille und dem einzigen Bedienelement, kann beweglich sein. Bevorzugt erfolgt eine Datenübertragung durch Funk, IR, oder Ultraschall zum eigentlichen Bediensystem, z.B. einem PC. Zum Bedienen eines PCs kann ein gewünschtes Icon fixiert und über das einzige Bedienelement ausgelöst werden. Dabei kann das erkannte Bedienelement, Icon, usw., auch über eine vorbestimmte Zeit fixiert und nach Verstreichen der Zeit ausgelöst werden. Auch kann das Auslösen durch einen beliebigen akustischen Befehl erfolgen.
Das Bedienen der Systeme kann über eine dezentrale Anordnung der Bedienfunktion im System erfolgen, wobei die Bedienungsauslösung durch ein kodiertes Signal angesprochen wird.
Gruppe 2: Hier werden Funktionen mobiler Systeme gesteuert. Dabei werden mittels der optoelektronischen Brille vom Netzhautreflexbild des Auges gewonnene Bildinformationen mit einem Rechner ausgewertet und zur Gewinnung von Steuerungssignalen verwendet. Dabei können geometrische Bildinformationen und/oder Helligkeitsinformationen ausgewertet werden, und es können relative Zuordnungen geometrischer Bildinformationen beider Augen ausgewertet werden. Auch können zeitliche Veränderungen der Bildinformationen beider Augen ausgewertet werden. Insbesondere können die ermittelten Bildinformationen der Augen mit aktuellen Fahrdaten korreliert werden, oder sie können mit Geometriedaten eines Fahrzeugs korreliert werden. Auch können die ermittelten Bildinformationen der Augen mit gespeicherten Bilddaten, wie z.B. Verkehrsschildern verglichen werden.
Die gewonnenen Bildinformationen können z.B. folgendermaßen verwendet werden: a) Zur Auslösung optischer, akustischer bzw. haptischer Warnsignale, 17
b) Zur Aktivierung von Fahrsystemen, wie z.B. Bremsen, Gas, etc., c) Zur Aktivierung von Kräften, wie z.B. Verhärtung der Lenkung, d) Zur Ein- oder Ausschaltung des Fahrlichts, e) Zur Anpassung des Fahrlichts oder anderer Funktionen an die Blickrichtung.
Die Auswertung des Netzhautbildes kann also zur Aktivierung von Fahrzeugfunktionen verwendet werden, und gleichzeitig kann je nach Bedarf eine Bildbearbeitung stattfinden und eine synchrone Rückprojektion des verbesserten Bildes in das Auge durchgeführt werden. Durch die Steuerung kann das Nebellicht, und wenn nötig, das Nebelrücklicht geschaltet werden. Auch kann die Sehschärfe bei mangelhafter Akkomodation zum Ablesen von Fahrzeuginstrumenten örtlich verbessert werden. Insbesondere kann ein vorhandenes IR-Beleuchtungssystem zur Verbesserung der Nebellichtwerte aktiviert werden.
Bevorzugt werden die gewonnenen Bildinformationen beider Augen in Verbindung mit einem Aktivierungs-Bedienelement zur Bedienung von Fahrzeugfunktionen verwendet. Die gewonnenen Bildinformationen können temporär in einem Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven und objektiven Verkehrssituationen abgelegt werden. Auch können sie unter Erkennung einer unerlaubten Augenposition zur Deaktivierung des Airbags verwendet werden. Insbesondere kann das Lidschlag-Tastverhältnis zur Ermittlung von Unregelmäßigkeiten, wie Schlaf oder Streß, verwendet werden und es kann ermittelt werden, ob sich in beiden Augen die gleiche geometrische Bildinformation in der Fovea centralis befindet, um Unregelmäßigkeiten zu erkennen.
Gruppe 3:
Bei dieser Ausführung des erfindungsgemäßen Verfahrens werden durch Anklicken mit dem menschlichen Auge Bildinformationen, die bevorzugt ortsfest sind, erfaßt, wobei mittels der opto-elektronischen Brille das Reflexionsbild der Netzhaut der Augen in einem Scan-Vorgang aufgenommen und einem Bildverarbeitungs- und Speichersystem zugeführt wird. Dabei sind insbesondere Aufnahmewinkel, Auflösung, Scangeschwindigkeit,
Zeilendichte des Scan-Vorgangs, usw. entsprechend der jeweiligen Anforderung angepaßt. Bereits bei der Aufnahme kann eine geometrische Entzerrung mit Hilfe gespeicherter 18
Daten über die Krümmung der Netzhaut vorgenommen werden. Auch kann die Aufnahme durch gleichzeitige Einspiegelung eines für die Netzhaut unsichtbaren Hilfsmusters in das Auge und Vergleich mit diesem vorgenommen werden.
Bevorzugt wird das aufgenommene Bild nach Abdunklung der Brille durch Rückprojektion ins Auge kontrolliert.
Das aufgenommene Bild wird z.B. einer Farbanpassung unterworfen (Weißabgleich) und/oder wahlweise monochrom oder farbig weiterverarbeitet. Es kann auch stereoskopisch in zwei Kanälen weiterverarbeitet werden, und es können zumindest teilweise im Infrarotbereich liegende Informationen weiterverarbeitet werden.
Das aufgezeichnete Bild kann beispielsweise zur Herstellung von fotografischen Stehbildaufnahmen, Laufbildaufzeichnungen, Freiformat-Scanneraufzeichnungen, zur teleskopischen Wiedergabe und/oder Aufzeichnung, sowie zur Herstellung von Kopien verwendet werden.
Bevorzugt wird zur Positionierung der Bildaufzeichnung ein variabler Ausschnittsrahmen in das Auge projiziert und es kann ein verbessertes Bild synchron mit dem aufgenommenen Bild auf die Netzhaut projiziert werden.
Selbstverständlich können die verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens gemäß den drei Gruppen auch weitgehend untereinander kombiniert werden.

Claims

19Patentansprüche
1. Verfahren zum Steuern oder Bedienen von Systemen durch Bildinformationen, mit den Schritten
Erfassen eines Objekts oder einer Szene mit dem menschlichen Auge durch eine opto-elektronische Brille und Aufnehmen des Netzhautreflexbildes zur Gewinnung von Bildinformationen - Auswerten der Bildinformationen und Vergleich der Bildinformationen mit gespeicherten Daten, und
Erzeugen von Steuersignalen zur Auslösung einer oder mehrerer Funktionen eines Systems
2. Verfahren nach Anspruch 1, wobei Bildmuster der Fovea Centralis beider Augen erfaßt werden und mit einem gespeicherten Muster verglichen werden, und wobei bei
Übereinstimmung der Muster die Funktion durch Aktivierung eines Bedienelements ausgelöst wird.
' 3. Verfahren nach Anspruch 1 oder 2, wobei das zu bedienende System oder ein Bedienelement mit den Augen fixiert wird um es zu bedienen.
4. Verfahren nach den Ansprüchen 1 bis 3, wobei das Auslösen durch einen akustischen Befehl und/oder durch Fixieren des Objekts über einen vorbestimmten Zeitraum erfolgt.
5. Verfahren nach den Ansprüchen 1 bis 4, wobei die Steuersignale Funktionen eines Fahrzeuges steuern wie z.B. Bremse, Lenkung, Lichter, oder zur Auslösung von Warnsignalen verwendet werden.
6. Verfahren nach Anspruch 5, wobei die Bildinformationen mit aktuellen Fahrdaten und/oder Fahrzeugdaten korreliert werden. 20
7. Verfahren nach den Ansprüchen 1 bis 6, wobei relative Zuordnungen geometrischer Bildinformationen beider Augen oder zeitliche Veränderungen der Bildinformationen beider Augen ausgewertet werden.
8. Verfahren nach den Ansprüchen 1 bis 7, wobei ein IR-Beleuchtungssystem zur
Sichtverbesserung aktiviert wird und das Netzhautreflexbild verändert und synchron ins Auge zurück projiziert wird.
9. Verfahren nach den Ansprüchen 1 bis 8, wobei die gewonnene Bildinformation zur Anpassung der Beleuchtung oder des Fahrlichts an die Blickrichtung verwendet wird.
10. Verfahren nach den Ansprüchen 1 bis 9, wobei die gewonnenen Bildinformationen temporär in einem Speicher bzw. Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven Szenen oder Verkehrssituationen abgelegt werden.
1 1. Verfahren zur Erfassung von Bildinformationen, insbesondere nach einem der Ansprüche 1 bis 10, mit den Schritten
Erfassen eines Objekts oder einer Szene mit dem menschlichen Auge durch eine opto-elektronische Brille, und Aufnehmen des Netzhautreflexbildes durch einen Scan-Vorgang
- Zuführen des aufgenommenen Netzhautreflexbildes zu einem Bildverarbeitungsund Speichersystem
- Auslösen einer Aufnahme- oder Kopierfunktion, um das vom Auge gesehene Objekt als Bild aufzunehmen, zu kopieren und/oder zu übertragen.
12. Verfahren nach den Ansprüchen 1 bis 1 1, wobei ein Hilfsmuster ins Auge projiziert wird um einen Ausschnittsrahmen bereitzustellen oder das aufgenommene Bild zu entzerren.
13. Verfahren nach Anspruch 12, wobei das Hilfsmuster für das Auge unsichtbar ist und die Entzerrung des Bildes mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut erfolgt.
PCT/DE1999/000421 1998-02-20 1999-02-16 Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen WO1999042315A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP99913073A EP1056611A1 (de) 1998-02-20 1999-02-16 Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
JP2000532296A JP2002503862A (ja) 1998-02-20 1999-02-16 画像情報によるシステムの制御または操作方法および画像情報の検出方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE19807065.9 1998-02-20
DE19807271A DE19807271A1 (de) 1998-02-20 1998-02-20 Verfahren zur Erfassung und Umsetzung von ortsfesten Bildinformationen
DE19807271.6 1998-02-20
DE19807081.0 1998-02-20
DE1998107081 DE19807081C2 (de) 1998-02-20 1998-02-20 Verfahren zum Bedienen von Systemen durch optische Erfassung eines Bedienelements oder Gegenstands
DE19807065A DE19807065C2 (de) 1998-02-20 1998-02-20 Verfahren zur Steuerung von Funktionen mobiler Systeme

Publications (1)

Publication Number Publication Date
WO1999042315A1 true WO1999042315A1 (de) 1999-08-26

Family

ID=27218157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1999/000421 WO1999042315A1 (de) 1998-02-20 1999-02-16 Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen

Country Status (3)

Country Link
EP (1) EP1056611A1 (de)
JP (1) JP2002503862A (de)
WO (1) WO1999042315A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002031581A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Vorrichtung und verfahren zur bestimmung der orientierung eines auges
WO2002031577A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
WO2002097511A1 (de) * 2001-05-22 2002-12-05 Physoptics Opto-Electronic Gmbh Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
US7245273B2 (en) 2001-01-30 2007-07-17 David Parker Dickerson Interactive data view and command system
EP1840627A2 (de) 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
WO2009049975A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Visuelles auslösen von vorgängen in einem kraftfahrzeug
DE102012005886A1 (de) * 2012-03-23 2013-09-26 Audi Ag Verfahren zur Bedienung einer Bedienvorrichtung eines Kraftfahrzeugs
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120169582A1 (en) * 2011-01-05 2012-07-05 Visteon Global Technologies System ready switch for eye tracking human machine interaction control system
KR101535593B1 (ko) * 2013-02-05 2015-07-09 상명대학교서울산학협력단 근적외선 조명 및 카메라를 이용한 전방 객체 인식 방법 및 장치
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
CN104924907B (zh) * 2015-06-19 2018-09-14 宇龙计算机通信科技(深圳)有限公司 一种调节车速的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4811226A (en) * 1980-09-30 1989-03-07 Toyota Jidosha Kogyo Kabushiki Kaisha Optimum angle adjusting apparatus for vehicle equipments
US5060062A (en) * 1990-05-02 1991-10-22 Dotson Robert S Electronic vision aid device
WO1993014454A1 (en) * 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4811226A (en) * 1980-09-30 1989-03-07 Toyota Jidosha Kogyo Kabushiki Kaisha Optimum angle adjusting apparatus for vehicle equipments
US5060062A (en) * 1990-05-02 1991-10-22 Dotson Robert S Electronic vision aid device
WO1993014454A1 (en) * 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
WO2002031577A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
EP1840627A2 (de) 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
EP1840627A3 (de) * 2000-10-07 2008-02-27 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
WO2002031581A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Vorrichtung und verfahren zur bestimmung der orientierung eines auges
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US8382285B2 (en) 2000-10-07 2013-02-26 Metaio Gmbh Device and method for determining the orientation of an eye
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element
US7245273B2 (en) 2001-01-30 2007-07-17 David Parker Dickerson Interactive data view and command system
WO2002097511A1 (de) * 2001-05-22 2002-12-05 Physoptics Opto-Electronic Gmbh Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
WO2009049975A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Visuelles auslösen von vorgängen in einem kraftfahrzeug
US9201502B2 (en) 2012-03-23 2015-12-01 Audi Ag Method for operating an operating device of a motor vehicle using gaze detection
DE102012005886A1 (de) * 2012-03-23 2013-09-26 Audi Ag Verfahren zur Bedienung einer Bedienvorrichtung eines Kraftfahrzeugs
DE102012005886B4 (de) 2012-03-23 2023-02-16 Audi Ag Verfahren zur Bedienung einer Bedienvorrichtung eines Kraftfahrzeugs

Also Published As

Publication number Publication date
EP1056611A1 (de) 2000-12-06
JP2002503862A (ja) 2002-02-05

Similar Documents

Publication Publication Date Title
DE112018001655B4 (de) Anzeigevorrichtung und sich bewegender Körper mit der Anzeigevorrichtung
DE102020105652B4 (de) Verfolgungssystem mit infrarot-kamera
DE19951001C2 (de) Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
DE102012201071B4 (de) Gesichtsabbildungssystem und verfahren zum steuern des gesichtsabbildungssystems sowie computerlesbares medium
DE60208894T2 (de) Regensensor mit stereoscopischem abbildungssystem
DE102016111783B4 (de) Anzeigevorrichtung zur Einblendung eines virtuellen Bildes in das Blickfeld eines Benutzers
WO2014005972A1 (de) Kamerasystem zum erfassen der position eines fahrers eines kraftfahrzeugs
WO1998005992A2 (de) Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
DE102016201567A1 (de) Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
WO1999042315A1 (de) Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE19802220A1 (de) Anzeigevorrichtung
DE102015205167A1 (de) Verfahren und Steuergerät zum Betreiben eines autostereoskopischen Sichtfeldanzeigegeräts für ein Fahrzeug
WO2007065871A1 (de) Head-up-display system
EP2732334B1 (de) Vorrichtung und verfahren zur erfassung biometrischer merkmale
DE4417762C1 (de) Vorrichtung und Verfahren zum Projizieren und Empfangen von Bildinformation mittels eines Bildschirms
DE102010041344A1 (de) Anzeigevorrichtung
DE102019004692B3 (de) Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
WO1999003013A1 (de) Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
DE10050174C1 (de) Vorrichtung zur Anzeige von Informationen in einem Fahrzeug
WO2016046124A1 (de) Anzeigevorrichtung, die auf den kopf eines benutzers aufsetzbar ist, und verfahren zum steuern einer solchen anzeigevorrichtung
DE102021104528A1 (de) Optisches System für eine virtuelle Netzhautanzeige und Verfahren zum Projizieren von Bildinhalten auf eine Netzhaut
DE19807081C2 (de) Verfahren zum Bedienen von Systemen durch optische Erfassung eines Bedienelements oder Gegenstands
DE102019106258A1 (de) Insassenüberwachungsvorrichtung
DE102019132460A1 (de) Einstellen eines Rückspiegels an einem Fahrzeug
DE102018219420A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 1999913073

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09601650

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1999913073

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 1999913073

Country of ref document: EP