WO2004041078A2 - Aufnahmevorrichtung für die kopfgestützte bilderfassung und verfahren zur steuerung der aufnahmevorrichtung - Google Patents

Aufnahmevorrichtung für die kopfgestützte bilderfassung und verfahren zur steuerung der aufnahmevorrichtung Download PDF

Info

Publication number
WO2004041078A2
WO2004041078A2 PCT/DE2003/003671 DE0303671W WO2004041078A2 WO 2004041078 A2 WO2004041078 A2 WO 2004041078A2 DE 0303671 W DE0303671 W DE 0303671W WO 2004041078 A2 WO2004041078 A2 WO 2004041078A2
Authority
WO
WIPO (PCT)
Prior art keywords
user
recording
eye
movements
unit
Prior art date
Application number
PCT/DE2003/003671
Other languages
English (en)
French (fr)
Other versions
WO2004041078A8 (de
WO2004041078A3 (de
Inventor
Thomas Brandt
Stefan Glasauer
Erich Schneider
Original Assignee
Ludwig-Maximilians-Universität
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ludwig-Maximilians-Universität filed Critical Ludwig-Maximilians-Universität
Priority to AU2003292953A priority Critical patent/AU2003292953A1/en
Priority to US10/533,767 priority patent/US20060098087A1/en
Publication of WO2004041078A2 publication Critical patent/WO2004041078A2/de
Publication of WO2004041078A3 publication Critical patent/WO2004041078A3/de
Publication of WO2004041078A8 publication Critical patent/WO2004041078A8/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to a recording device for image acquisition with a recording unit that can be attached to the head of a user, with a sensor device for recording eye movements of the user and with an evaluation unit connected downstream of the sensor device that generates control signals with which an actuator acting on the recording unit is acted upon , through which an image section captured by the recording unit can be moved.
  • the invention further relates to a method for controlling the alignment of an image section recorded by the head-supported recording unit.
  • the known device comprises a head holder which can be attached to the head of a user. Cameras are attached to the head holder, the optical axes of which can be aligned by two-dimensional positioning systems according to the position of the eyes. For this purpose, the position of the eyes is detected with the aid of partially transparent deflection mirrors, which are arranged in front of the eyes and map the user's eyes to suitable sensors in the reflecting wavelength range. The eye position detected with the aid of the sensors is then evaluated and converted into control signals for the actuating systems. With the known device, the optical axes of the cameras track the current viewing direction of the user.
  • the known recording device is particularly suitable for monitoring the user's line of sight.
  • a disadvantage of the known recording device and the known method is that no still images are recorded by the cameras. Rather, it is necessary to compensate for movements of the head and the outside world with the aid of image processing methods in order to produce a reasonably calm image that can be easily followed by an observer.
  • the object of the invention is to create a recording device and a method for controlling the recording device with which still pictures can be recorded in a simple manner.
  • the recording device is characterized in that the sensor device completely detects eye movements of at least one eye of the user. Therefore, not only pitch and yaw movements, but also the rolling movements of an eye are recorded.
  • the movement of the eye means the displacement and rotation of the pupil and iris of the eye.
  • the recording device thus detects rotary movements of the eyeball around three orthogonal spatial axes. These movements are evaluated by the evaluation unit and converted into control signals for a movement of the recording unit that compensates for the head movement.
  • the recording unit is controlled in such a way that the movement of the field of view of the recording unit follows all components of the eye movement.
  • the pick-up unit therefore not only performs pitching and yawing movements, but also rolling movements.
  • VOR vestibulo-ocular reflex
  • the equilibrium organ in the user's inner ear takes on the role of a motion sensor, which provides information to the brain about the rotational speed of the head and the orientation of the head with respect to gravity.
  • the speed information is transformed into a position signal by means of an integration process, which is forwarded to the eye muscle cores with the opposite sign.
  • This biological reflex leads to the fact that the eyes always turn against the head movement, so that the position of the surrounding image imaged on the retina of an eye is stabilized.
  • a device for intrasakcadian suppression is provided in the evaluation unit or in the recording unit, which freezes the image recorded by the recording unit during rapid eye movements, the so-called saccades. In this way, smearing of the images recorded by the recording unit during rapid eye movements of the user is avoided.
  • the sensor device comprises an infrared mirror arranged directly in front of the eye and an infrared camera onto which an infrared image of the eyes is imaged. This arrangement enables the user has a free, unrestricted field of view and, at the same time, the sensor device a complete detection of the user's eye movements.
  • the recording units which are in particular optical cameras, can follow all components of the eye movements
  • the recording units are preferably rotatably mounted about three spatial axes.
  • the cameras can be held by a gimbal.
  • Figure 1 is a perspective view of a headrest receiving device
  • Figure 2 shows the movements that can be performed by one eye.
  • the receiving device 1 shown in FIG. 1 comprises a head holder 2 which is placed on a head 3 of a user 4.
  • Infrared cameras 5 are attached to the side of the head holder 2 at eye level and are aligned with the aid of an adjusting device 6 so that they each take an image of one of the two eyes 8 via infrared mirrors 7.
  • the infrared mirrors 7 are transparent to visible light, so that the field of view of the user 4 is not restricted.
  • the movements of the eyes 8, in particular the iris and the pupil are recorded using the infrared cameras 5.
  • Control signals 10 are generated on the basis of the components of the movement of the eyes 8 determined by the evaluation unit 9 and forwarded to an engine control 11.
  • the motor controller 11 controls drive motors (not recognizable in FIG. 1) according to the control signals 10, which move cameras 12 attached to the head holder 2 above the eyes 8 of the user 4.
  • the cameras 12 are rotatably mounted about three spatial axes so that the cameras 12 can follow all components of the movement of the eyes 8.
  • the cameras 12 are not only capable of a pitching movement 13 about the horizontal axis 14 and a yawing movement 15 about the vertical transverse axis 16, but also a rolling movement 17 about a longitudinal axis 18 running along the optical axis of the camera 12.
  • FIG. 1 An eyeball 19 with an iris 20 and a pupil 21 is shown schematically.
  • the muscle acting on the eyeball 19 enables the eyeball 19 to perform pitching movements 22 around an essentially horizontal transverse axis 23, yawing movements 24 around a vertical transverse axis 25 and rolling movements 26 around a longitudinal axis 27 , wherein the longitudinal axis 27 is the normal of the surface of the eyeball 19 leading through the center of the pupil 21.
  • the images recorded by the cameras 12 are stationary. Because the unconscious control of the eyes 8 takes place in such a way that the image on the retina is as quiet as possible. So The vestibulo-ocular reflex already mentioned ensures that the eyes 8 always turn counter to the movement of the head 3 in order to ensure that the image of the environment is stationary on the retina. As part of the vestibulo-ocular reflection, the equilibrium organ in the inner ear of the user 4 takes on the role of the motion sensor, which provides information about the rotational speed of the head 3 and the alignment of the head 3 with respect to gravity to the brain of the user 4.
  • the speed information is converted into a position signal with the aid of an integration process, which in turn is forwarded to the eye muscle cores with the opposite sign.
  • the eyes always turn against the head movement. This makes it possible, for example, to recognize faces or read street signs while running.
  • the recording device 1 uses this vestibulo-ocular reflex to stabilize the field of vision of the cameras 12 by controlling the movement of the cameras 12 by the pitching movements 22, yawing movements 24 and rolling movements 26 of the eyes 8 of the user 4.
  • a similar mechanism is effective, for example, when large-area visual stimuli pass the user 4. This is the case, for example, when the user 4 looks out of the window of a moving train.
  • the brain of the user 4 extracts speed information from the optical stimuli and forwards it to the same oculomotor-structures which are also the basis of the vestibulo-ocular reflex.
  • the eyes 8 are controlled against the movement, so that the user 4 receives a clear picture of his environment despite the moving train. Since the eyes 8 cannot be deflected arbitrarily, the eyes 8 are reset at regular intervals by means of rapid eye movements, the so-called saccades.
  • This mechanism is called opto-kinetic nystagmus (OKN), which consists of a There is a succession of slow compensatory eye movements and rapid return movements.
  • the user 4 can also perform voluntary eye movements. These are slow eye movements and quick jumps, which are also called saccades.
  • the user 4 uses the former when, for example, he follows a flying bird with his eyes.
  • the quick jumps in the eye are used when the eyes 8 are moved back and forth between two conversation partners, for example.
  • Another biological effect that can be used to control the recording device 1 is the vergence of the eyes 8.
  • the eyes 8 When viewing objects binocularly, as in the case of triangulation, the eyes 8 assume an angle that is dependent on the object distance from one another, so that each Eye 8 can view the object in the area of highest resolution, the fovea.
  • Important information for a possible autofocus function of the cameras 12 can be calculated from the vergence position of the two eyes 8, since the verge angle depends on the distance to the object under consideration. Furthermore, it is possible to carry out the image processing carried out by the brain of the user 4 accordingly on the images recorded by the cameras 12.
  • the so-called intrasaccadic suppression system in the brain of the user 4 causes a suppression of the movement perception during a saccade. This leads to a trans-Saccadic constancy of the perceived spatial movement.
  • a saccadic suppression device can be present in the evaluation unit 9, which is triggered whenever a quick glance change takes place.
  • Artificial movement suppression can be done, for example, by repeating or freezing the last image in front of the saccade for the duration of this saccade.
  • the time period in which it is necessary to freeze the image recorded by the camera 12 is in the range of 100 ms.
  • the recording device 1 enables the user 4 to make video recordings even under conditions under which shake-free recordings were previously not possible.
  • the user 4 can move the head 3 and eyes 8 as well as his arms and legs freely. For example, during filming, the user 4 can walk, move in difficult terrain, or concentrate on controlling a machine or operating a device without fear of taking blurred images. This is because the vestibulo-ocular and opto-kinetic reflexes naturally stabilize the image field recorded by the camera 12 during any movements of the head 3.
  • the images recorded by the cameras 12 the user 4 can be projected onto the infrared mirror 7 via a projection device, depending on the type of camera 12 used and depending on any upstream image processing, the user 4 can be shown additional information about his environment. So are
  • the invention also enables a number of other applications.
  • films can be produced that reflect the actual, subjective view of the user 4 or the cameraman.
  • the recording device 1 can thus be used to produce film products whose camera work corresponds to the natural visual conditions, in contrast to the artificial, direction-controlled camera work of conventional film products. This creates a new quality of cinematic representation in entertainment and documentation compared to today's film technology. This also opens up new artistic possibilities when designing films.
  • the use of the receiving device 1 is not limited to human users 4 alone. It is conceivable to also modify the head holder 2 for animals. This would open up new opportunities in the field of animal films.
  • the recording device 1 enables the transmission of blur-free images from the perspective of an athlete, even skiers, ski jumpers or dancers.
  • a new type of night vision device is conceivable in the military field or in the area of border guards, which projects the user 4 onto the semi-transparent infrared mirror 7 in the direction of the viewing target with an unrestricted field of vision and maximum mobility.
  • the recording device 1 can be used to analyze the exploration behavior of freely mobile subjects or patients. For example, the development of the eye control from child to adult can be examined with the aid of the recording device 1. Furthermore, disorders in psychiatric, neurological or ophthalmic diseases can be analyzed.
  • the recording device 1 it is possible to use the recording device 1 to examine the eye control caused by stimuli when advertising, at the workplace or when operating complex devices during examinations in the context of marketing, ergonomics or in the context of occupational safety.
  • the sensor device comprises at least one contact lens which can be attached to an eye 8 of the user 4 and is provided with an induction coil and which, in a magnetic field extending to the eye area of the user 4, indicates the orientation of the induction coil Induction signal generated.
  • the different spatial components of the magnetic field are modulated differently, so that the components of the induction signal due to the different spatial components of the magnetic field can be separated in the induction signal and their relative strength compared to one another.
  • the orientation of the induction coil and thus the position of the eye 8 can then be deduced from the relative strength of the components of the induction signal.
  • the recording device 1 can be operated both, as shown in FIG. 1, binocularly and monocularly with only one camera 12.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Accessories Of Cameras (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Bei einer kopfgestützten Aufnahmevorrichtung (1) wird vorge­schlagen, zusätzlich zu Nickbewegungen (13) und Gierbewegun­gen (15) Rollbewegungen (17) der Augen (8) des Benutzers (4) zur Steuerung des Blickfelds von Kameras (12) zu verwenden. Mit der Aufnahmevorrichtung (1) werden die biologische Re­flexe zur Stabilisierung des Umgebungsbilds auf der Netzhaut dazu verwendet, das von den Kameras (12) aufgenommene Bild auf natürliche Weise zu stabilisieren.

Description

Beschreibung
Aufnahmevorrichtung für die köpfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
Die Erfindung betrifft eine Aufnahmevorrichtung für die Bilderfassung mit einer am Kopf eines Benutzers anbringbaren Aufnahmeeinheit , mit einer Sensorvorrichtung zum Erfassen von Augenbewegungen des Benutzers und mit einer der Sen- sorvorrichtung nachgeschalteten Auswerteeinheit, die Steuersignale erzeugt, mit denen ein auf die Aufnahmeeinheit einwirkender Stellantrieb beaufschlagt ist, durch den ein von der Aufnahmeeinheit erfasster Bildausschnitt bewegbar ist.
Die Erfindung betrifft ferner ein Verfahren zur Steuerung der Ausrichtung eines von der kopfgestützten Aufnahmeeinheit aufgenommenen Bildausschnitts.
Aus der WO 96/36271 ist eine derartige Aufnahmevorrichtung und ein derartiges Verfahren bekannt. Die bekannte Vorrichtung umfasst eine Kopfhalterung, die auf dem Kopf eines Benutzers angebracht werden kann. An der Kopfhalterung sind Kameras befestigt, deren optische Achsen von zweidimensiona- len Stellsystemen entsprechend der Stellung der Augen ausge- richtet werden können. Zu diesem Zweck wird die Stellung der Augen mit Hilfe von teildurchlässigen Umlenkspiegeln erfasst, die vor den Augen angeordnet sind und im reflektierenden Wellenlängenbereich die Augen des Benutzers auf geeignete Sensoren abbilden. Die mit Hilfe der Sensoren erfasste Augen- Stellung wird daraufhin ausgewertet und in Steuersignale für die Stellsysteme umgesetzt. Mit der bekannten Vorrichtung werden die optischen Achsen der Kameras der momentanen Blickrichtung des Benutzers nachgeführt.
Die bekannte Aufnahmevorrichtung ist vor allem dazu geeignet, die Blickrichtung des Benutzers zu überwachen. Ein Nachteil der bekannten Aufnahmevorrichtung und des bekannten Verfahrens ist, dass keine ruhigstehenden Bilder von den Kameras aufgenommen werden. Vielmehr ist es erforderlich, Bewegungen des Kopfs und der Außenwelt mit Hilfe von bildver- arbeitenden Verfahren auszugleichen, um ein einigermaßen ruhigstehendes Bild zu erzeugen, das von einem Betrachter mühelos verfolgt werden kann.
Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, eine Aufnahmevorrichtung und ein Verfahren zur Steuerung der Aufnahmevorrichtung zu schaffen, mit dem sich auf einfache Weise ruhigstehende Bilder aufnehmen lassen.
Diese Aufgaben werden durch die Aufnahmevorrichtung und das Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.
Die Aufnahmevorrichtung zeichnet sich dadurch aus, dass die Sensorvorrichtung Augenbewegungen zumindest eines Auges des Benutzers vollständig erfasst. Es werden daher nicht nur Nick- und Gierbewegungen, sondern auch die Rollbewegungen eines Auges erfasst. Mit der Bewegung des Auges ist dabei die Verschiebung und Drehung der Pupille und der Iris des Auges gemeint. Die Aufnahmevorrichtung erfasst somit Drehbewegungen des Augapfels um drei orthogonale Raumachsen. Diese Bewegungen werden von der Auswerteeinheit ausgewertet und in Steuersignale für eine die Kopfbewegung kompensierende Bewegung der Aufnahmeeinheit umgesetzt. Die Steuerung der Aufnahmeeinheit erfolgt dabei insbesondere so, dass die Bewegung des Gesichtsfelds der Aufnahmeeinheit sämtlichen Komponenten der Augenbewegung folgt. Die Aufnahmeeinheit führt somit nicht nur Nick- und Gierbewegungen, sondern auch Rollbewegungen aus. Infolgedessen werden auf den Bildsensor der Aufnahmeeinheit im Wesentlichen ruhigstehende Bilder abgebildet. Denn im Rahmen des sogenannten vestibulo-okulären Reflexes (VOR) übernimmt das Gleichgewichtsorgan im Innenohr des Benutzers die Rolle eines Bewegungssensors, der Information zur Drehgeschwindigkeit des Kopfes und zur Ausrichtung des Kopfes bezüglich der Schwerkraft an das Gehirn liefert. Im Gehirn wird die Geschwindigkeitsinformation mittels eines Integrationsvorgangs zu einem Positionssignal umgeformt, das mit umgekehrtem Vorzeichen an die Augenmuskelkerne weitergeleitet wird. Dieser biologische Reflex führt dazu, dass sich die Augen immer entgegen der Kopfbewegung drehen, so dass die Lage des auf die Netzhaut eines Auges abgebildeten Umgebungsbildes stabilisiert wird. Wenn daher die Drehungen des Augapfels um die drei Raumachsen vollständig erfasst werden, und wenn die dabei gewonnenen Informationen dazu verwendet werden, um Steuersignale zu erzeugen, durch die die Aufnahmeein- heit zu einer der Augenbewegung vollständig folgenden Bewegung veranlasst wird, werden Kopfbewegungen des Benutzers kompensiert und es ergibt sich ein weitgehend stabiles Blickfeld der Aufnahmeeinheit, das ebenso ruhig steht wie das auf die Netzhaut abgebildete Bild der Umgebung. Bei der Aufnahme- Vorrichtung brauchen daher nicht wie beim Stand der Technik bildverarbeitende Verfahren zur nachträglichen Stabilisierung der von den Kameras aufgenommenen Bilder eingesetzt zu werden .
Bei einer bevorzugten Ausführungsform der Erfindung ist in der Auswerteeinheit oder in der Aufnahmeeinheit eine Vorrichtung zur intrasakkadische Suppression vorgesehen, das bei schnellen Augenbewegungen, den sogenannten Sakkaden, das von der Aufnahmeeinheit aufgenommene Bild einfriert. Auf diese Weise wird ein Verschmieren der von der Aufnahmeeinheit aufgenommenen Bilder bei schnellen Augenbewegungen des Benutzers vermieden.
Bei einer weiteren bevorzugten Ausführungsform umfasst die Sensorvorrichtung einen unmittelbar vor dem Auge angeordneten Infrarotspiegel und eine Infrarotkamera, auf die ein Infrarotbild der Augen abgebildet wird. Diese Anordnung ermöglicht dem Benutzer ein freies uneingeschränktes Sichtfeld und gleichzeitig der Sensorvorrichtung ein vollständiges Erfassen der Augenbewegungen des Benutzers.
Damit die Aufnahmeeinheiten, bei denen es sich insbesondere um optische Kameras handelt, sämtlichen Komponenten der Augenbewegungen folgen können, sind die Aufnahmeeinheiten vorzugsweise um drei Raumachsen drehbar gelagert. Insbesondere können die Kameras von einer kardanischen Aufhängung gehalten sein.
Wenn die Bewegung beider Augen des Benutzers erfasst wird, können aus der sogenannten Vergenzstellung der beiden Augen wichtige Informationen für eine mögliche Autofokusfunktion der Aufnahmeeinheit oder der Aufnahmeeinheiten gewonnen werden. Denn der Vergenzwinkel der Augen hängt vom Abstand zum betrachteten Objekt ab.
Nachfolgend wird die Erfindung beispielhaft anhand der beige- fügten Zeichnung erläutert. Es zeigen:
Figur 1 eine perspektivische Ansicht einer kopfgestützten Aufnahmevorrichtung; und
Figur 2 eine Darstellung der von einem Auge durchführbaren Bewegungen.
Die in Figur 1 dargestellte Aufnahmevorrichtung 1 umfasst eine Kopfhalterung 2, die auf einen Kopf 3 eines Benutzers 4 aufgesetzt ist. Seitlich an der Kopfhalterung 2 sind in Augenhöhe Infrarotkameras 5 angebracht, die mit Hilfe einer Justiervorrichtung 6 so ausgerichtet werden, dass sie über Infrarotspiegel 7 jeweils ein Bild eines der beiden Augen 8 aufnehmen. Die Infrarotspiegel 7 sind für sichtbares Licht transparent, so dass das Gesichtsfeld des Benutzers 4 nicht eingeschränkt ist. Die Bewegungen der Augen 8, insbesondere der Iris und der Pupille, werden mit Hilfe der Infrarotkameras 5 aufgezeichnet.
Die von den Infrarotkameras 5 aufgenommenen Bilder werden ei- ner Auswerteeinheit 9 zugeführt, die die Komponenten der Bewegung der Augen 8 ermittelt. Dabei kommen dem Fachmann bekannte Verfahren der Video-Okulografie zur Anwendung. Diese dem Fachmann bekannten Verfahren sind als solche nicht Gegenstand der Anmeldung. Auf der Grundlage der von der Auswer- teeinheit 9 ermittelten Komponenten der Bewegung der Augen 8 werden Steuersignale 10 erzeugt und an eine Motorsteuerung 11 weitergegeben. Die Motorsteuerung 11 steuert entsprechend den Steuersignalen 10 in Figur 1 nicht erkennbare Antriebsmotoren, die oberhalb der Augen 8 des Benutzers 4 an der Kopfhal- terung 2 angebrachte Kameras 12 bewegen. Die Kameras 12 sind um drei Raumachsen drehbar gelagert, so dass die Kameras 12 sämtlichen Komponenten der Bewegung der Augen 8 folgen können. Insbesondere sind die Kameras 12 nicht nur in der Lage, eine Nickbewegung 13 um die horizontale Achse 14 und eine Gierbewegung 15 um die vertikale Querachse 16, sondern auch eine Rollbewegung 17 um eine entlang der optischen Achse der Kamera 12 verlaufende Längsachse 18 auszuführen.
In Figur 2 sind die unterschiedlichen Drehbewegungen der Augen 8 vergrößert dargestellt. Schematisch dargestellt ist ein Augapfel 19 mit einer Iris 20 und einer Pupille 21. Durch am Augapfel 19 angreifende Muskel kann der Augapfel 19 Nickbewegungen 22 um eine im wesentliche horizontale Querachse 23, Gierbewegungen 24 um eine vertikale Querachse 25 und Rollbewegungen 26 um eine Längsachse 27 ausführen, wobei die Längsachse 27 die durch das Zentrum der Pupille 21 führende Normale der Oberfläche des Augapfels 19 ist.
Da die Bewegung der Kameras 12 den Bewegungen der Augen 8 folgen, stehen die von den Kameras 12 aufgenommenen Bilder ruhig. Denn die unbewusste Steuerung der Augen 8 erfolgt so, dass das Bild auf der Netzhaut möglichst ruhig steht. So sorgt der bereits erwähnte vestibulo-okuläre Reflex dafür, dass sich die Augen 8 immer entgegen der Bewegung des Kopfes 3 drehen, um zu erreichen, dass das Bild der Umwelt auf der Netzhaut ruhig steht. Im Rahmen des vestibulo-okulären Refle- xes übernimmt das Gleichgewichtsorgan im Innenohr des Benutzers 4 die Rolle des Bewegungssensors, der Information zur Drehgeschwindigkeit des Kopfes 3 und zur Ausrichtung des Kopfes 3 bezüglich der Schwerkraft an das Gehirn des Benutzers 4 liefert. Im Gehirn des Benutzers 4 wird die Geschwin- digkeitsinformation mit Hilfe eines Integrationsvorgangs zu einem Positionssignal umgeformt, das wiederum mit umgekehrten Vorzeichen an die Augenmuskelkerne weitergeleitet wird. Im Ergebnis drehen sich daher die Augen immer entgegen der Kopfbewegung. Dadurch ist zum Beispiel erst das Erkennen von Gesichtern oder das Lesen von Straßenschildern beim Laufen möglich. Diesen vestibulo-okulären Reflex nutzt die Aufnahmevorrichtung 1 zur Stabilisierung des Blickfeldes der Kameras 12 aus, indem die Bewegung der Kameras 12 durch die Nickbewegungen 22, Gierbewegungen 24 und Rollbewegungen 26 der Augen 8 des Benutzers 4 gesteuert werden.
Daneben tragen noch weitere Reflexe zu Stabilisierung der von den Kameras 12 aufgenommenen Bilder bei. Ein ähnlicher Mechanismus wird zum Beispiel wirksam, wenn großflächige visuelle Reize an dem Benutzer 4 vorbeiziehen. Das ist beispielsweise dann der Fall, wenn der Benutzer 4 aus dem Fenster eines fahrenden Zuges blickt. Das Gehirn des Benutzers 4 extrahiert aus den optischen Reizen eine Geschwindigkeitsinformation und leitet diese an die gleichen okulo-motorischen Strukturen weiter, die auch dem vestibulo-okulären Reflex zugrunde liegen. Die Augen 8 werden entgegen der Bewegung gesteuert, so dass der Benutzer 4 trotz des fahrenden Zuges ein klares Bild seiner Umwelt erhält. Da die Augen 8 nicht beliebig ausgelenkt werden können, werden die Augen 8 in regelmäßigen Intervallen mittels schneller Augenbewegungen, den sogenannten Sakkaden, zurückgesetzt. Dieser Mechanismus wird als opto-kinetischer Nystagmus (OKN) bezeichnet, der aus einer Abfolge von langsamen kompensatorischen Augenbewegungen und schnellen Rückstellbewegungen besteht.
Neben diesen unwillkürlichen Augenbewegungen kann der Benut- zer 4 auch willkürliche Augenbewegungen durchführen. Dabei handelt es sich um langsame Augenfolgebewegungen und schnelle Blicksprünge, die ebenfalls als Sakkaden bezeichnet werden. Erstere setzt der Benutzer 4 ein, wenn er beispielsweise mit den Augen einem fliegenden Vogel folgt. Die schnellen Blick- sprünge werden dagegen eingesetzt, wenn die Augen 8 beispielsweise zwischen zwei Gesprächspartnern hin- und herbewegt werden.
Bei der Aufnahmevorrichtung 1 übernehmen diese komplexen bio- logischen Augenbewegungen die Führung der Kameras 12. Bewegungen der Augen 8, die einerseits dazu dienen, stabile Bilder von der Umwelt zu erhalten, und andererseits eine aktive Erkundung dieser Umwelt zu ermöglichen, werden von den Infrarotkameras 5 erfasst und in gleichwertige Bewegungen der Ka- meras 12 umgesetzt. Es ist daher nicht erforderlich, die Aufnahmevorrichtung 1 mit technischen Bewegungssensoren auszustatten und das Bild der Kameras 12 mit Hilfe dieser Sensoren zu stabilisieren, da die oben beschriebenen natürlichen Reflexe des Gleichgewichtsorgans zur Kompensation der Bewe- gung ausgenutzt werden.
Ein weiterer biologischer Effekt, der zur Steuerung der Aufnahmevorrichtung 1 ausgenutzt werden kann, ist die Vergenz- stellung der Augen 8. Beim binokularen Betrachten von Objek- ten nehmen die Augen 8 wie bei einer Triangulation einen vom Objektabstand abhängigen Winkel zueinander ein, so dass jedes Auge 8 das Objekt im Bereich höchster Auflösung, der Fovea, betrachten kann. Aus der Vergenzstellung der beiden Augen 8 können wichtige Informationen für eine mögliche Autofokus- funktion der Kameras 12 berechnet werden, da der Vergenzwin- kel vom Abstand zum betrachteten Objekt abhängt. Ferner ist es möglich, die vom Gehirn des Benutzers 4 ausgeführte Bildverarbeitung entsprechend an den von den Kameras 12 aufgenommenen Bildern durchzuführen. Um beispielsweise irrtümliche Scheinbewegungen der Umwelt bei schnellen Bewegungen der Augen 8 zu unterdrücken, veranlasst das sogenannte intrasakkadische Suppressionssystem im Gehirn des Benutzers 4 während einer Sakkade eine Unterdrückung der Bewegungswahrnehmung. Dies führt zu einer transsakkadischen Konstanz der wahrgenommenen räumlichen Bewegung.
Um nun ein Verschmieren des von den Kameras 12 aufgenommenen Bildes bei schnellen Bewegungen der Augen 8 zu vermeiden, kann in der Auswerteeinheit 9 eine sakkadische Suppressions- vorrichtung vorhanden sein, die immer dann getriggert wird, wenn ein rascher Blickwechsel stattfindet. Die künstliche Bewegungssuppression kann beispielsweise dadurch erfolgen, dass das letzte Bild vor der Sakkade für die Dauer dieser Sakkade wiederholt oder eingefroren wird. Abhängig von der Amplitude der Sakkade liegt die Zeitspanne, in der ein Ein- frieren des von der Kamera 12 aufgenommenen Bildes notwendig ist, im Bereich von 100 ms.
Die Aufnahmevorrichtung 1 ermöglicht dem Benutzer 4 Videoaufnahmen auch unter Bedingungen zu machen, unter denen bisher verwackelungsfreie Aufnahmen nicht möglich waren. Dabei kann der Benutzer 4 den Kopf 3 und die Augen 8 sowie seine Arme und Beine frei bewegen. Während der Filmaufnahme kann der Benutzer 4 zum Beispiel laufen, sich in schwierigem Gelände bewegen oder sich auf die Steuerung einer Maschine oder die Bedienung eines Geräts konzentrieren, ohne befürchten zu müssen, verwackelte Bilder aufzunehmen. Denn die vestibulo- okulären und opto-kinetischen Reflexe sorgen während beliebiger Bewegungen des Kopfes 3 für eine natürliche Stabilisierung des von der Kamera 12 aufgenommenen Bildfeldes.
Wenn bei einer abgewandelten Ausführungsform der Aufnahmevorrichtung 1 die von den Kameras 12 aufgenommenen Bilder dem Benutzer 4 über eine Projektionsvorrichtung auf die Infrarotspiegel 7 projiziert werden, können dem Benutzer 4 abhängig von eingesetzten Typ der Kamera 12 und abhängig von einer eventuell vorgeschalteten Bildverarbeitung zusätzlich Information über seine Umwelt eingeblendet werden. So sind
Falschfarbendarstellungen mit Hervorhebungen von spezifischen Merkmalen seiner Umgebung oder die Darstellung von Wärmebildern denkbar. Die Projektion der Bilder auf die Infrarotspiegel 7 erfolgt vorzugsweise mit Hilfe von Flüssigkristallan- zeigen.
Die Erfindung ermöglicht daneben eine Reihe von weiteren Anwendungen.
Im Bereich von Film und Fernsehen können Filme produziert werden, die die tatsächliche, subjektive Sicht des Benutzers 4 oder Kameramanns wiedergeben. Mit der Aufnahmevorrichtung 1 können somit Filmprodukte hergestellt werden, deren Kameraführung den natürlichen Sehbedingungen entspricht, im Gegen- satz zu der künstlichen, regiegesteuerten Kameraführung herkömmlicher Filmprodukte. Dadurch entsteht eine gegenüber der heute üblichen Filmtechnik neue Qualität der filmischen Darstellung in Unterhaltung und Dokumentation. Dies eröffnet auch neue künstlerische Möglichkeiten bei der Gestaltung von Filmen.
Der Einsatz der Aufnahmevorrichtung 1 ist nicht allein auf menschliche Benutzer 4 beschränkt. Es ist denkbar, die Kopfhalterung 2 auch für Tiere zu modifizieren. Dabei ergäben sich neue Möglichkeiten im Bereich der Tierfilme.
Im Bereich der Sportberichterstattung ermöglicht die Aufnahmevorrichtung 1 die Übermittlung von verwackelungsfreien Bildern aus Sicht eines Sportlers, selbst von Skifahrern, Ski- Springern oder Tänzern. Im militärischen Bereich oder im Bereich des Grenzschutzes ist eine neue Art von Nachtsichtgeräten denkbar, die den Benutzer 4 bei uneingeschränktem Gesichtsfeld und höchstmöglicher Mobilität das Wärmebild in Richtung des Blickziels auf den halbdurchlässigen Infrarotspiegel 7 projiziert.
In der neurowissenschaffliehen Forschung kann die Aufnahmevorrichtung 1 dazu verwendet werden, das Explorationsverhal- ten an frei beweglichen Probanden oder Patienten zu analysie- ren. Beispielsweise kann mit Hilfe der Aufnahmevorrichtung 1 die Entwicklung der Blicksteuerung vom Kind zum Erwachsenen untersucht werden. Weiterhin können Störungen bei psychiatrischen, neurologischen oder ophthalmologischen Erkrankungen analysiert werden.
Ferner ist es möglich, mit der Aufnahmevorrichtung 1 die reizbedingte Blicksteuerung bei Werbung, am Arbeitsplatz oder bei der Bedienung komplexer Geräte bei Untersuchungen im Rahmen des Marketing, der Ergonomie oder im Rahmen der Arbeits- Sicherheit zu untersuchen.
Es sei angemerkt, dass bei einer abgewandelten Ausführungsform der Aufnahmevorrichtung 1 die Sensorvorrichtung wenigstens eine auf einem Auge 8 des Benutzers 4 anbringbare und mit einer Induktionsspule versehene Kontaktlinse umfasst, die in einem sich auf den Augenbereich des Benutzers 4 erstreckendem Magnetfeld ein die Orientierung der Induktionsspule anzeigendes Induktionssignal erzeugt. Zu diesem Zweck werden die verschiedenen Raumkomponenten des Magnetfelds unter- schiedlich moduliert, so dass im Induktionssignal die auf die verschiedenen Raumkomponenten des Magnetfeldes zurückgehenden Komponenten des Induktionssignals separiert und in ihrer relativen Stärke zueinander verglichen werden können. Aus der relativen Stärke der Komponenten des Induktionssignals kann dann auf die Orientierung der Induktionsspule und damit auf die Stellung des Auges 8 geschlossen werden. Abschließend sei angemerkt, dass die Aufnahmevorrichtung 1 sowohl, wie in Figur 1 dargestellt, binokular als auch mono- kulär mit nur einer Kamera 12 betrieben werden kann.

Claims

Patentansprüche
1. Aufnahmevorrichtung für die Bilderfassung mit einer am Kopf (3) eines Benutzers (4) anbringbaren Aufnahmeeinheit (12), mit einer Sensorvorrichtung (5, 6, 7) zum Erfassen von Augenbewegungen des Benutzers (4) und mit einer der Sensorvorrichtung (5, 6, 7) nachgeschalteten Auswerteeinheit (9), die Steuersignale (10) erzeugt, mit denen ein auf die Aufnahmeeinheit (12) einwirkender Stellantrieb beaufschlagt ist, durch den ein von der Aufnahmeeinheit (12) erfasster Bildausschnitt bewegbar ist, d a d u r c h g e k e n n z e i c h n e t, d a s s die Sensorvorrichtung (5, 6, 7) Nick-, Gier- und Rollbewegungen (22, 24, 26) wenigstens eines Auges (8) des Benutzers (4) erfasst und dass die Auswerteeinheit (9) die erfassten Augenbewegungen auswertet und daraus Steuersignale (10) erzeugt, die den Stellantrieb dazu veranlassen, den von der Aufnahmeeinheit (12) erfassten Bildausschnitt den erfassten und ausgewerteten Augenbewegungen folgend zu bewegen.
2. Aufnahmevorrichtung nach Anspruch 1, bei der die Auswerteeinheit (9) vom Benutzer (4) ausgeführte willkürliche und unwillkürliche Augenbewegungen (22, 24, 26) auswertet .
3. Aufnahmevorrichtung nach Anspruch 1 oder 2, bei der die Auswerteeinheit (9) über eine intrasakkadische Suppressionsvorrichtung verfügt, die eine Wiedergabe der von der Aufnahmeeinheit (12) aufgenommenen Bilder unterdrückt, wenn die Geschwindigkeit der Augenbewegung (22, 24, 26) des Benutzers (4) einen vorbestimmten Grenzwert überschreitet.
4. Aufnahmevorrichtung nach einem der Ansprüche 1 bis 3, deren Sensorvorrichtung einen im Blickfeld des Benutzers (4) angeordneten Infrarotspiegel (7) und eine auf die Spiegelfläche des Infrarotspiegels (7) gerichtete Infrarotkamera (5) aufweist .
5. Aufnahmevorrichtung nach einem der Ansprüche 1 bis 3, deren Sensorvorrichtung eine mit Induktionsspulen versehene Kontaktlinse umfasst.
6. Aufnahmevorrichtung nach einem der Ansprüche 1 bis 5, bei der eine Projektionsvorrichtung zur Projektion der von der Aufnahmeeinheit (12) aufgenommenen Bilder in das Blickfeld des Benutzers (4) vorhanden ist.
7. Aufnahmevorrichtung nach einem der Ansprüche 1 bis 6, deren Aufnahmeeinheit wenigstens eine optische Kamera (12) aufweist .
8. Aufnahmevorrichtung nach einem der Ansprüche 1 bis 7, bei der die Aufnahmeeinheit (12) eine um drei Raumachsen drehbare Lagerung umfasst.
9. Aufnahmevorrichtung nach einem der Ansprüche 1 bis 8, bei der jeweils einem Auge (8) des Benutzers (4) eine Sensorvorrichtung (5, 6, 7) zugeordnet ist.
10. Aufnahmevorrichtung nach Anspruch 9, bei der die Auswerteeinheit (9) die Vergenzstellung der Augen (8) des Benutzers (4) auswertet, um ein Autofokussiersignal für die Aufnahmeeinheit (12) zu erzeugen.
11. Aufnahmevorrichtung nach Anspruch 9 oder 10, bei dem jedem Auge (8) des Benutzers (8) jeweils eine Kamera (12) zugeordnet ist, die den Bewegungen des jeweiligen Auges (8) folgt.
12. Verfahren zur Steuerung einer Aufnahmevorrichtung (1), bei dem die Augenbewegungen eines die Aufnahmevorrichtung (1) tragenden Benutzers (4) von einer Sensorvorrichtung (5, 6, 7) erfasst und von einer Auswerteeinheit (9) ausgewertet werden und bei dem ein von einer Aufnahmeeinheit (12) erfasster Bildausschnitt mit Hilfe eines auf die Aufnahmeeinheit (12) einwirkenden Stellantriebs bewegt wird, d a d u r c h g e k e n n z e i c h n e t, d a s s von der Sensorvorrichtung (5, 6, 7) Gier-, Nick- und Rollbewegungen eines Auges (8) des Benutzers (4) erfasst werden, die erfassten Bewegungen von der Auswerteeinheit (9) ausgewertet werden und der Bildausschnitt der Aufnahmeeinheit (12) den erfassten und ausgewerteten Bewegungen des Auges (8) folgend bewegt wird.
13. Verfahren nach Anspruch 12, bei dem willkürliche und unwillkürliche Bewegungen eines
Auges (8) des Benutzers (4) erfasst und ausgewertet werden.
14. Verfahren nach Anspruch 12 oder 13, bei dem die Anzeige von mit Hilfe der Aufnahmeeinheit (12) aufgenommener Bilder bei Bewegungen, deren Geschwindigkeit einen vorbestimmten Grenzwert überschreitet, unterdrückt wird.
15. Verfahren nach einem der Ansprüche 12 bis 14, bei dem die Vergenzstellung beider Augen (8) des Benutzers (4) ausgewertet und für die Fokussierung der Aufnahmeeinheit (12) verwendet wird.
16. Verwendung einer Aufnahmevorrichtung nach einem der Ansprüche 1 bis 11 zur Aufnahme von Filmen.
17. Verwendung der Aufnahmevorrichtung nach einem der An- sprüche 1 bis 11 als Nachtsichtgerät.
18. Verwendung der Aufnahmevorrichtung nach einem der Ansprüche 1 bis 11 zur Überwachung der Blickrichtung von Probanden.
PCT/DE2003/003671 2002-11-08 2003-11-06 Aufnahmevorrichtung für die kopfgestützte bilderfassung und verfahren zur steuerung der aufnahmevorrichtung WO2004041078A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2003292953A AU2003292953A1 (en) 2002-11-08 2003-11-06 Housing device for head-worn image recording and method for control of the housing device
US10/533,767 US20060098087A1 (en) 2002-11-08 2003-11-06 Housing device for head-worn image recording and method for control of the housing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10251933A DE10251933B4 (de) 2002-11-08 2002-11-08 Aufnahmevorrichtung für die kopfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
DE10251933.1 2002-11-08

Publications (3)

Publication Number Publication Date
WO2004041078A2 true WO2004041078A2 (de) 2004-05-21
WO2004041078A3 WO2004041078A3 (de) 2004-07-01
WO2004041078A8 WO2004041078A8 (de) 2004-10-14

Family

ID=32115365

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/003671 WO2004041078A2 (de) 2002-11-08 2003-11-06 Aufnahmevorrichtung für die kopfgestützte bilderfassung und verfahren zur steuerung der aufnahmevorrichtung

Country Status (4)

Country Link
US (1) US20060098087A1 (de)
AU (1) AU2003292953A1 (de)
DE (1) DE10251933B4 (de)
WO (1) WO2004041078A2 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2264383A1 (es) * 2005-06-03 2006-12-16 Hospital Sant Joan De Deu Dispositivo captador de movimientos oculares.
WO2006136270A1 (de) * 2005-06-23 2006-12-28 Carl Zeiss Ag Anzeigevorrichtung und -verfahren
WO2013150169A1 (es) * 2012-04-04 2013-10-10 Davalor Consultoria Estrategica Y Tecnologica, S.L. Dispositivo para la sujecion de un equipo para la exploración de la visión, a la cabeza de un usuario
DE102017005353A1 (de) * 2017-06-01 2018-12-06 Vdeh-Betriebsforschungsinstitut Gmbh Visualisierung einer Qualitätsinformation

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7731360B2 (en) * 2003-11-07 2010-06-08 Neuro Kinetics Portable video oculography system
DE10351928A1 (de) * 2003-11-07 2005-06-16 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Messung am visuellen System eines Probanden
DE102005014759A1 (de) * 2005-03-31 2006-10-05 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren
JP2008067219A (ja) 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
US7855743B2 (en) 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
DE102006049404A1 (de) * 2006-10-19 2008-04-30 Carl Zeiss Ag HMD-Vorrichtung
FR2912274B1 (fr) * 2007-02-02 2009-10-16 Binocle Sarl Procede de commande a partir d'un signal oculaire volontaire, notamment pour une prise de vues
DE102007024269B4 (de) * 2007-05-23 2012-10-04 Carl Zeiss Ag Anzeigevorrichtung
US7802883B2 (en) 2007-12-20 2010-09-28 Johnson & Johnson Vision Care, Inc. Cosmetic contact lenses having a sparkle effect
US9655515B2 (en) * 2008-04-08 2017-05-23 Neuro Kinetics Method of precision eye-tracking through use of iris edge based landmarks in eye geometry
WO2009129222A2 (en) * 2008-04-14 2009-10-22 The Johns Hopking University Systems and methods for testing vestibular and oculomotor function
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9039631B2 (en) 2008-10-09 2015-05-26 Neuro Kinetics Quantitative, non-invasive, clinical diagnosis of traumatic brain injury using VOG device for neurologic testing
US10398309B2 (en) 2008-10-09 2019-09-03 Neuro Kinetics, Inc. Noninvasive rapid screening of mild traumatic brain injury using combination of subject's objective oculomotor, vestibular and reaction time analytic variables
US8585609B2 (en) * 2008-10-09 2013-11-19 Neuro Kinetics, Inc. Quantitative, non-invasive, clinical diagnosis of traumatic brain injury using simulated distance visual stimulus device for neurologic testing
US8911090B2 (en) 2009-06-30 2014-12-16 University of Pittsburgh—of the Commonwealth System of Higher Education System for at-home eye movement monitoring
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
DE102012002393A1 (de) * 2012-02-08 2013-08-08 Andreas Hermann Kommunikationsbrille
US8808179B1 (en) 2012-08-06 2014-08-19 James Z. Cinberg Method and associated apparatus for detecting minor traumatic brain injury
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US12042294B2 (en) 2013-01-25 2024-07-23 Wesley W. O. Krueger Systems and methods to measure ocular parameters and determine neurologic health status
US11389059B2 (en) 2013-01-25 2022-07-19 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US10716469B2 (en) 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US11490809B2 (en) 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US10602927B2 (en) 2013-01-25 2020-03-31 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US11504051B2 (en) 2013-01-25 2022-11-22 Wesley W. O. Krueger Systems and methods for observing eye and head information to measure ocular parameters and determine human health status
DE102013201773B4 (de) * 2013-02-04 2019-12-24 Leica Microsystems (Schweiz) Ag Kopfgetragenes optisches Instrument und Verfahren zum Justieren eines kopfgetragenen optischen Instruments
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
JP2016521480A (ja) 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US11347301B2 (en) 2014-04-23 2022-05-31 Nokia Technologies Oy Display of information on a head mounted display
US9716834B2 (en) 2015-05-20 2017-07-25 Panasonic Intellectual Property Management Co., Ltd. Image display device and image processing device
CN110100199B (zh) * 2017-01-13 2022-06-14 努诺·安图内斯 采集、配准和多媒体管理的系统和方法
DE102017201502B4 (de) 2017-01-31 2022-10-13 Volkswagen Aktiengesellschaft Datenbrille und Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs
GB2586446A (en) * 2019-08-07 2021-02-24 Vui Diagnostics Ltd Improvements relating to ocular imaging
US11533443B2 (en) * 2020-06-29 2022-12-20 Innovega, Inc. Display eyewear with adjustable camera direction
US11762219B2 (en) * 2021-04-06 2023-09-19 Innovega, Inc. Automated contact lens design through image capture of an eye wearing a reference contact lens
CN114224281B (zh) * 2021-12-29 2022-08-05 深圳市中医院 一种眼睛视野检测装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU740225A1 (ru) * 1977-04-18 1980-06-15 Каунасский Политехнический Институт Им.Антанаса Снечкуса Устройство дл измерени движени глаз
WO1996036271A1 (de) * 1995-05-15 1996-11-21 Leica Ag Verfahren und vorrichtung zum parallelen erfassen von sehinformation
GB2323231A (en) * 1989-05-18 1998-09-16 Secr Defence Imaging systems
US6307589B1 (en) * 1993-01-07 2001-10-23 Francis J. Maquire, Jr. Head mounted camera with eye monitor and stereo embodiments thereof

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3724932A (en) * 1971-04-09 1973-04-03 Stanford Research Inst Eye tracker and method
JPS5423554A (en) * 1977-07-22 1979-02-22 Fuji Photo Optical Co Ltd Image stabilizing optical device
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US4544246A (en) * 1983-06-13 1985-10-01 Sri International System for producing selective stabilization of a portion of the retinal image
US4637571A (en) * 1985-09-03 1987-01-20 The United States Of America As Represented By The Secretary Of The Army Electronic image stabilization
US4720805A (en) * 1985-12-10 1988-01-19 Vye Scott R Computerized control system for the pan and tilt functions of a motorized camera head
US4844602A (en) * 1986-11-04 1989-07-04 Canon Kabushiki Kaisha Optical system for deflecting image
US4852988A (en) * 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
DE3938705C2 (de) * 1989-08-07 1996-09-05 Bodenseewerk Geraetetech Kreiselstabilisierter Sucher
US5189512A (en) * 1991-07-01 1993-02-23 Camair Research, Inc. Helmet integrated display system
US5341181A (en) * 1992-11-20 1994-08-23 Godard Roger R Systems and methods for capturing and presentng visual information
US5672862A (en) * 1993-07-30 1997-09-30 Canon Kabushiki Kaisha Optical apparatus having image shake preventing function
US6778150B1 (en) * 1993-09-14 2004-08-17 Francis J. Maguire, Jr. Method and apparatus for eye tracking
US5491510A (en) * 1993-12-03 1996-02-13 Texas Instruments Incorporated System and method for simultaneously viewing a scene and an obscured object
DE4417768C2 (de) * 1994-05-20 1998-09-10 Juergen Prof Dr Med Lamprecht Verfahren und Vorrichtung zum Projizieren von Bildinformationen bei Personen mit durch eine Abweichung der Stellung ihrer Sehachse verursachten Störungen des Sehens
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US20030034874A1 (en) * 1998-10-29 2003-02-20 W. Stephen G. Mann System or architecture for secure mail transport and verifiable delivery, or apparatus for mail security
DE19954047B4 (de) * 1999-10-29 2004-08-05 Chronos Vision Gmbh Verfahren und Anordnung zum Erfassen von mehrdimensionalen Augenbewegungen sowie Markierungs-Tinktur hierfür
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU740225A1 (ru) * 1977-04-18 1980-06-15 Каунасский Политехнический Институт Им.Антанаса Снечкуса Устройство дл измерени движени глаз
GB2323231A (en) * 1989-05-18 1998-09-16 Secr Defence Imaging systems
US6307589B1 (en) * 1993-01-07 2001-10-23 Francis J. Maquire, Jr. Head mounted camera with eye monitor and stereo embodiments thereof
WO1996036271A1 (de) * 1995-05-15 1996-11-21 Leica Ag Verfahren und vorrichtung zum parallelen erfassen von sehinformation

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2264383A1 (es) * 2005-06-03 2006-12-16 Hospital Sant Joan De Deu Dispositivo captador de movimientos oculares.
WO2006128939A3 (es) * 2005-06-03 2007-02-08 Sant Joan De Deu Hospital Dispositivo captador de movimientos oculares
US7931370B2 (en) 2005-06-03 2011-04-26 Hospital Sant Joan De Deu Eye movement sensor device
WO2006136270A1 (de) * 2005-06-23 2006-12-28 Carl Zeiss Ag Anzeigevorrichtung und -verfahren
WO2013150169A1 (es) * 2012-04-04 2013-10-10 Davalor Consultoria Estrategica Y Tecnologica, S.L. Dispositivo para la sujecion de un equipo para la exploración de la visión, a la cabeza de un usuario
ES2429240R1 (es) * 2012-04-04 2013-12-30 Davalor Consultoria Estrategica Y Tecnologica S L Dispositivo para la sujeción de un equipo para la exploración de la visión, a la cabeza de un usuario
DE102017005353A1 (de) * 2017-06-01 2018-12-06 Vdeh-Betriebsforschungsinstitut Gmbh Visualisierung einer Qualitätsinformation

Also Published As

Publication number Publication date
AU2003292953A1 (en) 2004-06-07
DE10251933B4 (de) 2006-12-14
DE10251933A1 (de) 2004-05-19
US20060098087A1 (en) 2006-05-11
WO2004041078A8 (de) 2004-10-14
AU2003292953A8 (en) 2004-06-07
WO2004041078A3 (de) 2004-07-01

Similar Documents

Publication Publication Date Title
DE10251933B4 (de) Aufnahmevorrichtung für die kopfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
EP1247133B1 (de) Sehhilfe in form einer lupenbrille mit autofokussiereinrichtung
DE69113287T2 (de) Wiedergabeeinrichtung in Brillenform zur direkten Wiedergabe auf der Netzhaut.
DE102011001083B4 (de) Projektorvorrichtung mit Selbstkorrekturfunktion sowie Medizingerät mit der Projektorvorrichtung
EP1430349B1 (de) Informationssystem
WO1996036271A1 (de) Verfahren und vorrichtung zum parallelen erfassen von sehinformation
DE60219618T2 (de) Am kopf montierte bildanzeigevorrichtung
DE10047237A1 (de) System zur Aufnahme des Netzhautreflexbildes
DE4417768A1 (de) Verfahren und Vorrichtung zum Projizieren von Bildinformationen bei Personen mit durch eine Abweichung der Stellung ihrer Sehachse verursachten Störungen des Sehens
WO2013010786A1 (de) Vorrichtung und verfahren zur erfassung biometrischer merkmale
DE19731303B4 (de) Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei Kopf- und Augenbewegungen
DE112017005146T5 (de) Augenbewegungs-Messeinrichtung und Augenbewegungs-Analysesystem
DE102012001981B4 (de) Vorrichtung und Verfahren zur Bestimmung der Subjektiven Visuellen Vertikalen, insbesondere zur Prüfung der Otolithenfunktion
WO2006136270A1 (de) Anzeigevorrichtung und -verfahren
DE19540802A1 (de) Vorrichtung und Verfahren zur Prüfung von Sehfunktionen
WO2016062302A1 (de) Kopfbefestigbare anzeigevorrichtung
DE19809591A1 (de) Vorrichtung und Verfahren zur Darbietung von bewegten oder unbewegten Seheindrücken zur automatischen und umfassenden Erfassung zahlreicher Parameter des Betrachters
DE69021581T2 (de) Kommunikationsvorrichtung.
WO2002031577A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
DE19807065C2 (de) Verfahren zur Steuerung von Funktionen mobiler Systeme
DE4008358C2 (de) Vorrichtung zum Betrachten von stereoskopischen Bildern
DE4112755C2 (de) Vorrichtung zum Betrachten von stereoskopischen Bildern
DE3850966T2 (de) Brille für Schwachsichtige.
DE4415439C2 (de) Verfahren und Vorrichtung zum Projizieren von Bildinformation auf das bewegte Auge
DE102020128278A1 (de) Vorrichtung zur Vermeidung oder Minderung einer Parallaxe

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
CFP Corrected version of a pamphlet front page
CR1 Correction of entry in section i

Free format text: IN PCT GAZETTE 21/2004 UNDER (71) THE NAME SHOULD READ ""LUDWIG-MAXIMILIANS- UNIVERSITAET""

ENP Entry into the national phase

Ref document number: 2006098087

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10533767

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10533767

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: JP