WO1998037691A1 - Lernfähiges aktives kamerasystem - Google Patents

Lernfähiges aktives kamerasystem Download PDF

Info

Publication number
WO1998037691A1
WO1998037691A1 PCT/EP1998/000970 EP9800970W WO9837691A1 WO 1998037691 A1 WO1998037691 A1 WO 1998037691A1 EP 9800970 W EP9800970 W EP 9800970W WO 9837691 A1 WO9837691 A1 WO 9837691A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
user
movements
movement
luminance
Prior art date
Application number
PCT/EP1998/000970
Other languages
English (en)
French (fr)
Inventor
Rolf Eckmiller
Original Assignee
Rolf Eckmiller
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19707046A external-priority patent/DE19707046A1/de
Application filed by Rolf Eckmiller filed Critical Rolf Eckmiller
Priority to AU64990/98A priority Critical patent/AU6499098A/en
Priority to PCT/EP1998/000970 priority patent/WO1998037691A1/de
Priority to DE19880174T priority patent/DE19880174D2/de
Publication of WO1998037691A1 publication Critical patent/WO1998037691A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye

Definitions

  • the present invention relates to a camera system with the features of the preamble of claim 1 and a method for operating such a camera system.
  • Various camera systems with a movable line of sight are known, for example various night vision devices and infrared vision devices which are designed in the manner of binoculars or can be worn on a helmet in front of the eyes.
  • remote-controlled surveillance cameras some of which can change their gaze direction in conjunction with the user's head or eye movements.
  • portable video cameras are known in which the viewing direction is electronically stabilized in order to compensate for tremors or blurring.
  • the line of sight is slightly pivoted relative to the housing.
  • the currently detectable night vision or infrared vision devices have various functional limitations.
  • the user usually has to pivot the entire night vision device to change the viewing direction.
  • the luminance adaptation is relatively slow and is carried out uniformly for the entire image area, without local differences in luminance.
  • compensations for own movements and the creation of simulated eye movements and automatic object tracking are not known.
  • a bidirectional communication with the user to report detected object positions, known patterns or the relative movement of the remote camera system is not provided. The same applies to remote-controlled viewing devices that can only pivot their viewing axis depending on a remote control.
  • the currently known portable cameras do not have, apart from the image stabilization mentioned, autonomous functions, for example for object tracking or for generating eye movements by pivoting the eye axis.
  • Autonomous zoom and accommodation functions are practically non-existent, as is the ability to quickly and partially adapt different luminance levels.
  • the viewing direction of the camera system can be varied over a wide range of m depending on the own movement of the detector unit. Unwanted own movements can be compensated.
  • the detector unit is kinematically coupled to the camera unit and / or to a user, on the one hand self-movements of the camera unit can be compensated for stabilizing the line of sight. On the other hand, when the camera is at rest, movements of the user can be used to control the line of sight. If the detector unit with the When the user and the camera unit are coupled, the vestibulo-ocular reflex can be simulated.
  • the detector unit includes an eye movement detector that detects the user's eye movements, with or without the user's own movement, object tracking or gazing can be performed.
  • a vision device with head movement sensors attached to the head of the user which makes image patterns and scenes that are difficult or difficult to see for the human vision system through residual light amplification in the manner of a night vision device or by evaluating lighting in the invisible wavelength range, active night vision devices can be used be created. If the user's head movements are also compensated for by electronic image shifting and / or mechanical movement of the viewing axis, the image stabilization is particularly reliable.
  • the camera can take over object recognition functions, for example warning and avoidance functions.
  • object recognition functions for example warning and avoidance functions.
  • it can be communicated whether its autonomously performed functions such as focusing, brightness adaptation and zoom are sufficient or whether a program adjustment through a learning process is required for optimal function.
  • a preferred embodiment results when an image monitor attached to the head is provided, the camera being arranged away from the body of the user and the line of sight of the remote viewing device through head and / or eye movements of the user or through simulated eye movements
  • Predictive follow-up movements for the autonomous tracking of moving objects are controlled in a suitable coordinate system, the user can control the field of view and the axis of vision of a camera that is movable from him himself by head movements and movements of the axis of vision through his eye movements or observe eye movements carried out autonomously by this camera.
  • the control unit is at a distance from the camera and is provided with a monitor, the control unit comprising an input device for inputting control commands and work programs, an active camera system can be controlled with almost completely simulated visual and vibro-triggered human gaze functions.
  • a preprocessing module which is set up for recognizing characteristic patterns and / or for data reduction.
  • the preprocessing module can recognize light and dark areas of the image from different lighting, differentiate them from one another and integrate them into an overall picture with regionally optimal contrast, close and distant areas of the image can be separated from each other with respect to focusing and then integrated again as an overall picture, and finally characteristic patterns can be created such as B. Warning signs are highlighted.
  • This preprocessing can serve to improve the image display, but also to generate warnings and to reduce data in the communication channel between the camera and the encoder.
  • eye movements are simulated for the purpose of movement of the visual axis, in particular for fast supply Looking Around or continuous and pradiktive pverfol ⁇ .
  • These procedures enable active visual functions, such as are possible for the visual system and the eye movement system of primates.
  • a good image quality can be achieved if the focal length, the focusing distance and / or the luminance adaptation is varied locally and automatically. If the method transmits the position of an object tracked with the line of sight relative to the user to a suitable sensory organ, in particular the user is warned of obstacles and dangers, a new type of security system is available.
  • the luminance working area is composed of regions of the image pattern luminance area that are not evaluated in a linear manner, dark areas can be artificially lightened and light areas artificially darkened, so that image areas that could not normally be viewed simultaneously with a suitable brightness are made visible simultaneously.
  • the user can use the control module to monitor the pattern pattern and select various eye movement programs.
  • the user or a suitable search algorithm can tell the camera movement system when a predetermined object appears that this object should be tracked from now on. The camera system will then automatically continue to track the object. The movements of the user, a vehicle or a structure carrying the camera are compensated for.
  • eye movements are simulated as movements of the camera's axis of vision in real time, as a result of which a very large space can be monitored efficiently and interesting ones can be created Objects are constantly detected with maximum resolution even when moving.
  • the movements of the viewing axis can be controlled in such a way that the next position of the object being tracked is predicted and the viewing axis is continued even if the object temporarily disappears from the viewing area.
  • a particularly good position stabilization of the image pattern with natural head-trunk movements of the viewer m kinematic coupling with the camera is generated if compensatory movements of the visual axis of the camera are generated based on the vestibulo-ocular reflex of primates.
  • the adaptation of the accommodation is initially set sharply, for example in the foreground, these areas are stored and then second areas of the field of vision are sharply focused as an image, for example the background of a field of vision.
  • the first areas that become blurred are faded out of the second image pattern and replaced by the first stored, sharp areas. This creates a depth of field that cannot be achieved within the scope of the geometric optics. If these process steps are repeated cyclically and the image is correspondingly compensated, this process can go unnoticed by a user, so that an image of great depth of field is apparently achieved even with low light intensities and long focal lengths of the associated optics.
  • Figure 1 A portable, learnable digital camera with an equally portable monitor
  • Figure 2 a learning capable working from the user
  • Figure 3 the representation of a scene with very different brightness areas and areas of different focusing distance; such as
  • FIG. 4 the course of the brightness levels m of the camera image for four different image areas from FIG. 3.
  • FIG. 1 shows a camera 1 with a movable viewing axis 2, which is arranged in a portable housing 3 together with a detector unit 4 and with auxiliary units (not shown) such as power supply etc.
  • the housing 3 also carries an antenna 5 for communication with a portable monitor 6, which in turn has a transmitting and receiving device 8 as well as a screen 7 and a command unit 9 in the form of buttons.
  • the camera 1 is designed as a digital camera which has a pivotable optic.
  • the camera 1 can carry out movements of 180 ° in each case m of the vertical and horizontal, and rotary movements of the viewing axis 2, and thereby e.g. capture the half space lying behind a user 10.
  • the detector unit 4 comprises sensors for the six degrees of freedom of movement, namely the rotational movement about three axes and the translatory movement in three directions.
  • the user 10 of the portable, learnable and active camera 1 can observe the image transmitted by the camera 1 on the screen 7 at a specific point in time. He can select 9 different camera functions via the command unit. First, in the illustrated example for observing a bird 11, it becomes the desired object search and give camera 1 the appropriate command. Then a sensor-motorized encoder located in the housing 3 controls the camera 1 in such a way that the visible area is searched for corresponding, previously stored patterns. If the search for a corresponding image pattern is successful, the bird 11 is shown as an image on the monitor 7 and the user decides on a second operating mode of the camera 1, namely object tracking.
  • the camera 1 is now controlled by the encoder in such a way that the bird 11 to be tracked remains in the field of vision of the camera 1 and thus remains observable on the monitor 7.
  • the detector unit 4 determines the intrinsic movements of the camera 3 and of the user 10, who can easily walk around during the observation and object tracking.
  • the movement and position signals determined by the detector unit 4 are transmitted as control signals via the learnable sensor-motor encoder of the camera 1, and the viewing axis 2 is thus stabilized when the camera 3 and the user 10 move themselves.
  • a preprocessing module within the housing 3 calculates the image pattern of the bird 11 observed by the camera 1 and can emphasize this image pattern using image processing methods known per se, for example by increasing the sharpness of the contours.
  • an image pattern which is observed over a long period of time and which may therefore be of particular interest to the user 10 can also record its stored search patterns. In this way, the mode of object search selected at the beginning is adapted to the needs of the user 10 in a continuous learning process.
  • FIG. 2 shows a camera system which is arranged away from a user.
  • the camera 1 with its associated components can be located at an arbitrarily distant location. It stands over the transmitting and receiving antenna 5 with the user 10, more precisely with an assigned neten transmission and reception module m bidirectional communication.
  • the user 10 is assigned a head position and movement sensor 12, an eye movement detector 13 and a neck cuff 14 to control the camera and to report various functions.
  • the image of the bird 11 recorded by the camera 1 in the direction of the viewing axis 2 is shown on a relatively large screen 15, which allows the user to look around on the screen 15 in terms of its dimensions.
  • the camera 1 with its housing 3 and the associated Comp ⁇ components is m the practice at a remote or inaccessible location, the m for example, (a nuclear power plant radiation range) or, for example the nacelle m of a balloon disposed to a particular danger zone.
  • the user 10 can now first switch the camera to the “object search” mode and thus search for a stored image pattern. As soon as the desired object has been found, the “object tracking” mode is selected and the object, as far as possible, held in the area of line of sight 2.
  • the housing 3 of the camera 1 now carries out a self-generated movement caused by a drive (not shown) or triggered by the user, in order to either track a specific object that threatens to disappear from the viewing area or because it is attached to a self-moving structure is, this inherent movement is determined via the position sensors of the detector unit in the six degrees of freedom and the direction of the viewing axis 2 is correspondingly compensated for relative to the housing 3.
  • the change in position is transmitted to the user.
  • the user wears the neck collar 14, on which actuators are arranged all around to trigger a perception of touch.
  • the location of such stimulation is at the front of the neck cuff indicated at 15.
  • the location of the touch perception 15 on the neck cuff 14 also moves to the left, as is indicated in the figure by the arrow. This enables the user 10 to understand the camera's own movement and to orientate himself in the monitored space despite the moving camera.
  • the user can determine that other interesting objects are to be viewed in the viewing area of the camera 1 available to him. He will then look elsewhere on screen 15. This change in its direction of view is detected by the eye movement detector 13.
  • the viewing axis 2 is pivoted accordingly.
  • the field of view of the viewer who in a sense looks at the environment from the perspective of the camera, is shown on the screen 15.
  • the user can move his head, which is detected by the head movement and position sensor 12 m six degrees of freedom.
  • a corresponding head movement is implemented in the area of the camera m, a pivoting of the viewing axis 2 and / or a corresponding movement of the housing 3 itself.
  • the screen 15 is kinematically coupled as possible to the user 10 as a hemispherical screen by providing him with a corresponding helmet. If the user turns around now, the position sensor 12 receives the information “rotate in the horizontal direction by 180 °”. This movement is reproduced by the camera housing 3. The image area which is shown on the screen 15 is pivoted accordingly.
  • FIG. 3 shows a scene perceived by the photo sensors in practice, in which a patio door 30 is viewed from a room.
  • the door 30 has a window 31, a keyhole 32 and a door leaf 33.
  • a spider 34 hangs in front of the door, and a beach scene 35 is visible through the window 31.
  • the lighting differences in this scene range from about 10 "1 cd / m 2 in the area of the door lock to 10 'cd / m 2 in the area of the spider and 10 1 cd / m 2 in the area of the door leaf up to 10" - 10 r cd / m 2 outdoors.
  • Such differences in luminance are not visible simultaneously with conventional cameras and otherwise also with the human eye. The luminance is only adjusted in the area under consideration.
  • FIG. 4 shows in the form of a diagram how the preprocessing module of the camera 1, on the basis of its pattern recognition functions, delimits the individual areas from one another and implements them with different functions in luminance levels of the camera image.
  • the luminance in cd / m 2 is recorded on the x-axis over a total of 9 decades, as occurs in the real image in FIG. 3.
  • the y-axis shows the 256 relative units of the luminance work area, which the camera or its preprocessing module assigns to the image display. 256 units correspond to 8 bit luminance modulation.
  • a first luminance curve L -, _ shows the range of the luminance of the door lock 32, mapped to the 256 relative luminance levels of the camera image.
  • Corresponding luminance curves L, for the door leaf 33, L _, _ for the spider 34 and L 35 for the outer area 35 are also shown.
  • the preprocessing module detects dung different, sharp contours of distinct in the incoming Abbil ⁇ areas with the four different luminance areas. These areas are constructed separately from each other and each with an optimal resolution to the 256 brightness levels of the camera ⁇ Figure transposed. As a result, the viewer of the scene according to FIG. 3 shows an image in which the image areas 32, 33, 34 and 35 are represented in the display in a similarly bright and high-contrast manner and with corresponding structuring in the different brightness levels. Such a display can be unusual, but it offers a wealth of detail in different regions that cannot be displayed simultaneously with the human eye or with conventional camera systems.
  • the illustration according to FIG. 3 also shows objects of different distances.
  • the objects 32, 33 and 34 are arranged at a distance of 2 m from the viewer, while the palm 36 associated with the outer area 35 can stand at a distance of 40 m.
  • the available depth of field is usually not sufficient for this.
  • the learnable sensor-motorized encoder can, together with the preprocessing module, first focus on the distant area 35 and recognize and save there delimited regions (palm). A second distance range can then be selected, in which the spider 34 is focused, while the range 35 is blurred.
  • the preprocessing module can recognize this fact and, instead of the area 35 that has become unsharp, the previously determined and stored sharp image content by calculation m insert the image focused at a short distance.
  • This sequence can be repeated cyclically in a type of focus scan, so that sharp areas are continuously determined from different focusing distances, stored and combined to form an overall sharp image.
  • the depth of field that can be reached virtually in this way exceeds that of a normal optical system many times over. If the process sequence has a sufficient repetition frequency, the user can only distinguish the generated image from a real image on the basis of the particularly large depth of focus.
  • Essential parts and processes of the learning-capable information processing system are m Act ⁇ ve Night Vision 'systems as night vision devices with a moving visual axis, Remote Vision 'systems used as remote vision devices with a movable line of sight and for Portable Active Vision' camera systems with a movable line of sight.
  • the luminance work area it is possible to adapt the function to the image pattern in the physiologically light-adapted or dark-adapted luminance range or to technically put together a work area that e.g. consists of partial areas of the photosensor functional area extending over several decades of luminance that are separated from one another.
  • Pre-processing of incoming image patterns especially with regard to color evaluation, contrast, edge detection, segmentation and figure-background separation with fast choice and change Possibility of the respective preprocessing functions is made possible.
  • the functional area is e.g. conventional night vision or infrared vision devices significantly expanded. Significant functions not yet available are added.
  • a remote-controlled vision device as an active remote vision system with various learnable functions which performs eye movement functions, zoom, locally distributed accommodation, locally distributed luminance adaptation, reports the movement of the remote viewing device and the position of detected objects, image preprocessing and pattern recognition, and its line of sight or camera position by eye or head movements of the remote user can be controlled is suggested.
  • the functional area is e.g. conventional remote-controlled monitoring devices are significantly expanded and enriched with various functions that were previously unavailable.
  • a portable camera as an active vision system with various learnable functions which provides eye movement functions, zoom, locally distributed accommodation, locally distributed luminance adaptation, reporting the position of detected objects, image preprocessing and pattern recognition, whose visual axis movement results from movement of the camera, for example as a result of a kinematically coupled, movable, movable user or vehicle is compensated and which can largely autonomously track objects selected by the user via a separate monitor is proposed.
  • the functional area is e.g. Conventional portable cameras or video register devices are significantly expanded and enriched with various functions that were previously not available.
  • An advantageous embodiment of the learnable Active Night Vision System consists in the fact that, for example, a view device mounted in a helmet transposes scenes or images that are not initially visible to the user by suitable methods and simplified by a preprocessing module that the line of sight of the
  • the display device can be moved by suitable, optical, mechanical or electronic methods and the viewer can switch various modes of gaze movement, such as automatic looking around or predictive tracking of moving objects, even if there is a temporary loss of visual contact, that head movements of the technically generated "eye movements" occur Users can be compensated by evaluating the detected head movements, that zoom and locally distributed accommodation are technically adjusted, that there is a bidirectional communication between the visual device and the user, that for contrast optimization ng and avoiding glare, a locally distributed luminance adaptation is generated by using a very fast photosensor array that is sensitive over several luminance decades, and is quickly adapted so that, if necessary, the position of targeted objects relative to the user's body is reported to the user, for example as a tactile sensation on the skin, and that individual functions are
  • An advantageous embodiment of the learnable Active Remote Vision System for example for surveillance tasks and video telephony, consists in the fact that the user has a monitor attached to the helmet with a head movement sensor as well as an instructional unit m bi-directional communication with a visual device m connection away from the body stands that the line of sight of the display device can be moved by suitable, optical, mechanical or electronic methods and that the viewer can switch various modes of gaze movement, such as looking around or predictively tracking moving objects, even if there is a temporary loss of visual contact, that the line of sight of the display device can be switched from the in turn detected eye movements of the viewer can be controlled after a learning phase, that in a learning phase the coordinate systems in the area of the viewing device are adapted to those of the viewer, that the position of the distant camera and thus the reference co ordinate system for the gaze system can be changed by gaze movements of the viewer, that the position of recognized objects is reported to the viewer e.g.
  • An advantageous embodiment of the portable active vision camera for example, as an intelligent one that is carried with the user Camera consists in that the visual axis of the camera is movable by suitable, optical, mechanical, or electronic methods and that the viewer can switch various modes of gaze movement, such as looking around or predictively tracking moving objects, even if the visual contact is temporarily lost, so that the user can switch over a control module via bi-directional communication has contact with the camera, that the camera is equipped with motion sensors as well as zoom, locally distributed change of accommodation and a locally adaptable luminance adaptation especially for contrast optimization and avoidance of oversteer, that camera movements as a result of the movement e.g.

Landscapes

  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)

Abstract

Die vorliegende Erfindung betrifft ein aktives Kamerasystem mit einem lernfähigen sensomotorischen Encoder, mit einer zentralen Kontrolleinheit für Signalverarbeitungsfunktionen, Überwachungsfunktionen und Steuerfunktionen sowie mit einer steuerbaren Kameraeinheit (1) mit beweglicher Blickachse (2), wobei wenigstens eine Detektoreinheit (4) für rotatorische und/oder translatorische Bewegungen vorgesehen ist.

Description

Lernfahiges aktives Kamerasystem
Die vorliegende Erfindung betrifft ein Kamerasystem mit den Merkmalen des Oberbegriffs des Anspruchs 1 sowie ein Verfahren zum Betrieb eines derartigen Kamerasystems.
Es sind verschiedene Kamerasysteme mit beweglicher Blickachse bekannt, so zum Beispiel diverse Nachtsichtgeräte und Infra- rotsichtgerate, die m der Bauart eines Fernglases ausgeführt sind oder an einem Helm vor den Augen getragen werden können. Weiterhin gibt es ferngesteuerte Uberwachungskameras, die zum Teil ihre Blickrichtung m Kopplung mit Kopf- oder Augenbewegungen des Benutzers andern können. Schließlich sind tragbare Videokameras bekannt, bei denen elektronisch die Blickrichtung stabilisiert wird, um Zittern oder Verwackeln zu kompensieren. Hierbei wird die Blickachse geringfügig gegenüber dem Gehäuse verschwenkt.
Die gegenwartig erfugbaren Nachtsicht- oder Infrarotsichtge- rate haben verschiedene Funktionsemschrankungen . Insbesondere muß der Benutzer zur Änderung der Blickrichtung üblicherweise das gesamte Nachtsichtgerät verschwenken. Die Leucht- dichteadaptation ist relativ langsam und wird für den gesamten Bildbereich einheitlich durchgeführt, ohne auf lokale Un- terschiede der Leuchtdichte Rucksicht zu nehmen. Schließlich sind Kompensationen von Eigenbewegungen und das Erzeugen simulierter Blickbewegungen sowie eine automatische Objektver- folgung nicht bekannt. Eine bidirektionale Kommunikation mit dem Benutzer zur Meldung von detektierten Objektpositionen, bekannten Mustern oder der Relativbewegung des entfernten Kamerasystems ist nicht vorgesehen. Entsprechendes gilt für ferngesteuerte Sichtgerate, die lediglich m Abhängigkeit von einer Fernsteuerung ihre Blickachse verschwenken können.
Auch die derzeit bekannten tragbaren Kameras verfugen außer der erwähnten Bildstabilisierung nicht über autonome Funktionen, beispielsweise zur Objektverfolgung oder zur Erzeugung von Blickbewegungen durch Verschwenken der Blickachse. Autonome Zoom- und Akkomodationsfunktionen sind ebenso wie die Fähigkeit zur schnellen und ausschnittsweise unterschiedlichen Leuchtdichteadaptation praktisch nicht vorhanden.
Es ist deshalb Aufgabe der vorliegenden Erfindung, ein Kamerasystem zu schaffen, das teilweise autonom und teilweise m bidirektionaler Kopplung mit dem Benutzer aktive optische Funktionen ausüben kann. Diese Aufgabe wird von einem Kamerasystem mit den Merkmalen des Anspruchs 1 gelost.
Weil eine Detektoreinheit für rotatorische und/oder transla- torische Bewegungen vorgesehen ist, kann die -Blickrichtung des Kamerasystems m einem weiten Wmkelbereich m Abhängigkeit von der Eigenbewegung der Detektoreinheit variiert werden. Unerwünschte Eigenbewegungen können kompensiert werden.
Wenn die Detektoreinheit kinematisch mit der Kameraeinheit und/oder mit einem Benutzer gekoppelt ist, können einerseits Eigenbewegungen der Kameraeinheit zur Stabilisierung der Blickachse kompensiert werden. Andererseits können bei ruhender Kamera Bewegungen des Benutzers zur Steuerung der Blickachse verwendet werden. Sofern die Detektoreinheit mit dem Benutzer und der Kameraeinheit gekoppelt ist, kann der vesti- bulo-okulare Reflex simuliert werden.
Wenn die Detektoreinheit einen Augenbewegungsdetektor umfaßt, der Augenbewegungen des Benutzers erfaßt, kann außerdem mit oder ohne Eigenbewegung des Benutzers eine Ob ektverfolgung oder ein Umherblicken durchgeführt werden.
Wenn ein am Kopf des Benutzers befestigtes Sichtgerat mit Kopfbewegungssensoren vorgesehen ist, welches für den Menschen nicht oder nur schwer sichtbare Bildmuster und Szenen für das menschliche Sehsystem durch Restlichtverstarkung nach Art eines Nachtsichtgerätes oder durch Auswertung einer Beleuchtung im nicht sichtbaren Wellenlangenbereich sichtbar macht, können aktive Nachtsichtgeräte geschaffen werden. Wenn weiterhin die Kopfbewegungen des Benutzers durch elektronische Bildverschiebung und/oder mechanische Bewegung der Blickachse kompensiert werden, ist die Bildstabilisierung besonders zuverlässig.
Wenn ein bidirektionaler Kommunikationsweg zwischen den dem Benutzer zugeordneten Komponenten und der Kamera besteht, kann die Kamera Objekterkennungsfunktionen, beispielsweise Warn- und Meidefunktionen übernehmen. Außerdem kann m Abhängigkeit von den Anforderungen des Benutzers und dem jeweiligen Blickfeld der Kamera mitgeteilt werden, ob ihre jeweils autonom ausgeübten Funktionen wie Scharfeinstellung, Hellig- keitsadaptation und Zoom ausreichend sind oder ob für eine optimale Funktion eine Programmanpassung durch ein Lernverfahren erforderlich ist.
Eine bevorzugte Ausfuhrungsform ergibt sich, wenn ein am Kopf befestigter Bildmonitor vorgesehen ist, wobei die Kamera vom Korper des Benutzers entfernt angeordnet ist und die Blickachse des entfernten Sichtgerätes durch Kopf- und/oder Augenbewegungen des Benutzers oder durch simulierte Blick- und pradiktive Folgebewegungen zur autonomen Verfolgung bewegter Objekte m einem geeigneten Koordinatensystem gesteuert wird, so kann der Benutzer das Blickfeld und die Blickachse einer von ihm entfernt bewegbaren Kamera selbst durch Kopfbewegungen sowie Bewegungen der Blickachse durch seine Augenbewegungen steuern oder autonom durchgeführte Blickbewegungen dieser Kamera beobachten. Wenn die Kontrollemheit von der Kamera beabstandet sowie mit einem Monitor versehen ist, wobei die Kontrollemheit eine Eingabevorrichtung zur Eingabe von Steuerbefehlen und Arbeitsprogrammen umfaßt, kann ein aktives Kamerasystem mit nahezu vollständig simulierten visuell und ve- stibular ausgelosten menschlichen Blickfunktionen gesteuert werden.
Bei einer vorteilhaften Ausfuhrungsform ist ein Vorverarbeitungsmodul vorgesehen, das zur Erkennung charakteristischer Muster und/oder zur Datenreduktion eingerichtet ist. Dabei kann das Vorverarbeitungsmodul helle und dunkle Bildbereiche unterschiedlicher Beleuchtung erkennen, voneinander abgrenzen und zu einem Gesamtbild mit jeweils regional optimalem Kontrast integrieren, ebenso können nahe und entfernt liegende Bildbereiche voneinander getrennt bezuglich Scharfeinstellung optimiert und danach wieder als Gesamtbild integriert werden, und schließlich können charakteristische Muster wie z. B. Warnschilder hervorgehoben werden. Diese Vorverarbeitung kann zur Verbesserung der Bilddarstellung, aber auch zur Erzeugung von Warnhinweisen sowie zur Datenreduktion im Kommunikationskanal zwischen der Kamera und dem Encoder dienen.
Bei einem Verfahren zum Betrieb eines Kamerasystems ist vorgesehen, daß Augenbewegungen zum Zwecke der Bewegung der Blickachse simuliert werden, insbesondere für schnelles Umherblicken oder kontinuierliche und pradiktive Objektverfol¬ gung. Diese Verfahren ermöglichen aktive Sehfunktionen, wie sie dem Sehsystem und dem Augenbewegungssystem von Primaten möglich sind. Dabei ist eine gute Bildqualltat zu erreichen, wenn die Brennweite, die Fokussierungsentfernung und/oder die Leucht- dichteadaptation örtlich individuell und automatisch variiert wird. Wenn bei dem Verfahren die Position eines mit der Blickachse verfolgten Objekts relativ zum Benutzer an ein geeignetes Sinnesorgan übermittelt wird, insbesondere der Benutzer vor Hindernissen und Gefahren gewarnt wird, steht ein neuartiges Sicherheitssystem zur Verfugung.
Wenn Lageveranderungen einer vom Korper entfernten Kamera an geeignete Sinnesorgane des Benutzers übermittelt werden, kann dieser seine Orientierung bei Fernsteuerungsaufgaben deutlich verbessern.
Wenn zudem der Leuchtdichtearbeitsbereich aus nicht linear bewerteten Ausschnitten des Bildmusterleuchtdichtebereichs regional zusammengesetzt wird, können dunkle Bereiche künstlich aufgehellt und helle Bereiche kunstlich abgedunkelt werden, so daß Bildbereiche, die normalerweise nicht gleichzeitig m einer geeigneten Helligkeit betrachtet werden konnten, simultan sichtbar gemacht werden.
Der Benutzer kann bei einer Ausfuhrungsform über das Kontrollmodul den Bildmusterverlauf überwachen und verschiedene Blickbewegungsprogramme anwählen. Dabei kann der Benutzer oder ein geeigneter Suchalgoπthmus beim Auftauchen eines vorbestimmten Objektes dem Kamerabewegungssystem mitteilen, dieses Objekt sei fortan zu verfolgen. Das Kamerasystem wird dann die Ob ektverfolgung automatisch fortfuhren. Dabei werden Bewegungen des Benutzers, eines Fahrzeugs oder einer die Kamera tragenden Struktur ausgeglichen.
Es ist außerdem vorteilhaft, wenn m dem erfmdungsgemaßen Verfahren Augenbewegungen als Blickachsenbewegungen der Kamera m Echtzeit simuliert werdenDadurch kann ein sehr großer Raum effizient überwacht werden und es können interessante Objekte auch bei Bewegung standig mit maximaler Auflosung de- tektiert werden.
Wahrend der Objektverfolgung können die Blickachsenbewegungen so gesteuert werden, daß die jeweils nächste Position des verfolgten Objektes vorhergesagt wird und auch bei einem zeitweisen Verschwinden des Objekts aus dem Blickbereich die Blickachse weitergeführt wird.
Eine besonders gute Lagestabilisierung der Bildmuster bei naturlichen Kopf-Rumpfbewegungen des Betrachters m kinematischer Kopplung mit der Kamera wird erzeugt, wenn kompensato- rische Blickachsenbewegungen der Kamera m Anlehnung an den vestibulo-okularen Reflex von Primaten erzeugt werden.
Schließlich ist es von Vorteil, wenn m einem Verfahrensablauf die Adaptation der Akkommodation zunächst, beispielsweise im Vordergrund, scharf eingestellt werden, diese Bereiche gespeichert werden und dann zweite Bereiche des Blickfeldes als Bild scharf eingestellt werden, beispielsweise der Hintergrund eines Blickfeldes. Die dabei unscharf werdenden ersten Bereiche werden aus dem zweiten Bildmuster ausgeblendet und durch die ersten gespeicherten, scharfen Bereiche ersetzt. Hierdurch wird eine im Rahmen der geometrischen Optik nicht erreichbare Tiefenscharfe erzeugt. Bei sich zyklisch wiederholendem Ablauf dieser Verfahrensschritte und einem entsprechenden Bildausgleich kann dieser Vorgang von einem Benutzer unbemerkt bleiben, so daß auch bei geringen Lichtstarken und langen Brennweiten der zugehörigen Optik ein Bild von großer Tiefenscharfe scheinbar erreicht wird.
Im folgenden wird die vorliegende Erfindung anhand der Zeichnung veranschaulicht. Es zeigen:
Figur 1: Eine tragbare, lernfahige Digitalka era mit einem ebenso tragbaren Monitor; Figur 2: eine vom Benutzer entfernt arbeitende lernfahige
Kamera mit verschiedenen, dem Benutzer zugeordneten Steuerungsmodulen sowie mit einem Bildschirm;
Figur 3: die Darstellung einer Szene mit sehr unterschiedlichen Helligkeitsbereichen und Bereichen unterschiedlicher Fokussierungsentfernung; sowie
Figur 4: den Verlauf der Helligkeitsstufen m der Kameraabbildung für vier verschiedene Bildbereiche aus Figur 3.
In der Figur 1 ist eine Kamera 1 mit beweglicher Blickachse 2 dargestellt, die m einem tragbaren Gehäuse 3 zusammen mit einer Detektoreinheit 4 sowie mit nicht dargestellten Nebenaggregaten wie Stromversorgung etc. angeordnet ist. Das Gehäuse 3 tragt außerdem eine Antenne 5 zur Kommunikation mit einem tragbaren Monitor 6, der wiederum eine Sende- und Empfangseinrichtung 8 sowie einen Bildschirm 7 und eine Befehl- semgabeemheit 9 in Form von Tasten aufweist.
Bei dem vorliegenden Ausfuhrungsbeispiel ist die Kamera 1 als Digitalkamera ausgeführt, die eine schwenkbare Optik besitzt. In der gezeigten Konfiguration kann die Kamera 1 Bewegungen um 180° jeweils m der Vertikalen und der Horizontalen sowie Drehbewegungen der Blickachse 2 ausfuhren und dadurch z.B. den hinter einem Benutzer 10 liegenden Halbraum erfassen. Die Detektoreinheit 4 umfaßt Sensoren für die sechs Bewegungsfreiheitsgrade, nämlich die rotatorische Bewegung um drei Achsen und die translatorische Bewegung m drei Richtungen.
Der Benutzer 10 der portablen, lernfahigen und aktiven Kamera 1 kann das zu einem bestimmten Zeitpunkt von der Kamera 1 übermittelte Bild auf dem Bildschirm 7 beobachten. Er kann über die Befehlsemgabeemheit 9 verschiedene Kamerafunktionen auswählen. Zunächst wird er bei dem dargestellten Beispiel zur Beobachtung eines Vogels 11 das gewünschte Objekt suchen und der Kamera 1 den entsprechenden Befehl geben. Daraufhin steuert ein im Gehäuse 3 befindlicher sensomotorischer Encoder die Kamera 1 derart, daß der sichtbare Bereich nach entsprechenden, zuvor gespeicherten Mustern abgesucht wird. Ist die Suche nach einem entsprechenden Bildmuster erfolgreich, so wird der Vogel 11 als Abbildung auf dem Monitor 7 dargestellt und der Benutzer entscheidet sich für eine zweite Betriebsart der Kamera 1, nämlich die Objektverfolgung. Die Kamera 1 wird nun von dem Encoder derart gesteuert, daß der zu verfolgende Vogel 11 standig im Blickfeld der Kamera 1 und damit auf dem Monitor 7 beobachtbar bleibt. Die Detektoreinheit 4 ermittelt dabei die Eigenbewegungen der Kamera 3 sowie des Benutzers 10, der ohne weiteres wahrend der Beobachtung und Objektverfolgung umhergehen kann. Die von der Detektoreinheit 4 ermittelten Bewegungs- und Lagesignale werden über den lernfahigen sensomotorischen Encoder der Kamera 1 als Steuersignale übermittelt und die Blickachse 2 so bei Eigenbewegung der Kamera 3 und des Benutzers 10 stabilisiert.
Ein Vorverarbeitungsmodul innerhalb des Gehäuses 3 berechnet das von der Kamera 1 erfaßte Bildmuster des beobachteten Vogels 11 und kann dieses Bildmuster mit an sich bekannten Bildverarbeitungsmethoden hervorheben, beispielsweise durch Vergrößerung der Konturenscharfe. Es kann aber auch ein Bildmuster, das über längere Zeit beobachtet wird und deshalb für den Benutzer 10 besonders interessant sein durfte, m seine gespeicherten Suchmuster aufnehmen. Auf diese Weise wird der am Anfang gewählte Modus der Objektsuche m einem standigen Lernvorgang den Bedurfnissen des Benutzers 10 angepaßt.
In der Figur 2 ist ein Kamerasystem dargestellt, das von einem Benutzer entfernt angeordnet ist. Die Kamera 1 mit ihren zugehörigen Komponenten kann an einem beliebig weit entfernten Ort stehen. Sie steht über die Sende- und Empfangsantenne 5 mit dem Benutzer 10, genauer gesagt mit einem ihm zugeord- neten Sende- und Empfangsmodul m bidirektionaler Kommunikation.
Dem Benutzer 10 sind zur Steuerung der Kamera und zur Ruckmeldung verschiedener Funktionen ein Kopflage- und Bewegungssensor 12, ein Augenbewegungsdetektor 13 und eine Halsmanschette 14 zugeordnet. Das von der Kamera 1 in Richtung der Blickachse 2 aufgenommene Bild des Vogels 11 ist auf einem relativ großen Bildschirm 15 dargestellt, der von der Dimension her dem Benutzer ein Umherblicken auf dem Bildschirm 15 ermöglicht .
Die Kamera 1 mit ihrem Gehäuse 3 und den dazugehörigen Kompo¬ nenten ist m der Praxis an einem entfernten oder unzugänglichen Ort, der zum Beispiel m einem besonderen Gefahrenbereich (Strahlungsbereich eines Kernkraftwerks) oder beispielsweise auch m der Gondel eines Ballons angeordnet. Der Benutzer 10 kann nun ähnlich wie im vorhergehenden Ausfuh- rungsbeispiel die Kamera zunächst m den Modus „Objektsuche" schalten und damit nach einem gespeicherten Bildmuster suchen lassen. Sobald das gewünschte Objekt gefunden wurde, wird der Modus „Ob ektverfolgung" gewählt und das Objekt, soweit möglich, im Bereich der Blickachse 2 gehalten. Wenn nun das Gehäuse 3 der Kamera 1 eine aufgrund eines nicht dargestellten Antriebs selbständig erzeugte oder von dem Benutzer ausgeloste Eigenbewegung ausfuhrt, um entweder ein bestimmtes Objekt zu verfolgen, das aus dem Blickraum zu verschwinden droht, oder weil es an einer sich selbst bewegenden Struktur befestigt ist, so wird diese Eigenbewegung über die Lagesensoren der Detektoreinheit m den sechs Freiheitsgraden ermittelt und die Richtung der Blickachse 2 relativ zu dem Gehäuse 3 entsprechend kompensiert. Gleichzeitig wird dem Benutzer die Änderung der Lage übermittelt. Der Benutzer tragt hierzu die Halsmanschette 14, auf der umlaufend Aktoren zur Auslosung einer Beruhrungswahrnehmung angeordnet sind. Der Ort einer solchen Stimulation ist an der Vorderseite der Halsmanschette mit 15 angedeutet. Wenn sich das Ka eragehause 3 m seinem Koordinatensystem linksherum dreht, wandert der Ort der Be- ruhrungswahrnehmung 15 auf der Halsmanschette 14 ebenfalls linksherum, so wie es in der Abbildung mit dem Pfeil angedeutet ist. Dies ermöglicht dem Benutzer 10, eine Eigenbewegung der Kamera nachzuvollziehen und sich trotz sich bewegender Kamera m dem überwachten Raum zu orientieren.
Der Benutzer kann bei der Betrachtung eines Objektes 11 feststellen, daß m dem ihm zur Verfugung stehenden Blickbereich der Kamera 1 andere interessante Objekte zu betrachten sind. Er wird dann auf dem Bildschirm 15 an eine andere Stelle blicken. Diese Änderung seiner Blickrichtung wird durch den Augenbewegungsdetektor 13 erfaßt. Die Blickachse 2 wird entsprechend verschwenkt. Dabei wird auf dem Bildschirm 15 jeweils das Blickfeld des Betrachters, der gewissermaßen die Umwelt aus der Perspektive der Kamera betrachtet, dargestellt. Weiter kann der Benutzer seinen Kopf bewegen, was über den Kopfbewegungs- und Lagesensor 12 m sechs Freiheitsgraden erfaßt wird. Eine entsprechende Kopfbewegung wird im Bereich der Kamera m eine Verschwenkung der Blickachse 2 und/oder m eine entsprechende Bewegung des Gehäuses 3 selbst umgesetzt. Der Bildschirm 15 ist für derartige Anwendungen möglichst als halbkugelformiger Bildschirm kinematisch mit dem Benutzer 10 gekoppelt, indem ihm ein entsprechender Helm zur Verfugung gestellt wird. Wenn der Benutzer sich jetzt umdreht, erhalt der Lagesensor 12 die Information „drehen m horizontaler Richtung um 180°". Diese Bewegung wird von dem Kameragehause 3 nachvollzogen. Der Bildbereich, der im Bildschirm 15 dargestellt wird, wird entsprechend verschwenkt.
Auf diese Weise ist eine vollständige Orientierung des Benutzers m einem von ihm entfernt liegenden Raum möglich. Er ist insbesondere m der Lage, über Manipulatoren Reparaturen oder Aufraumarbeiten m aktiven Kernkraftwerksbereichen oder ande- ren unzugänglichen Räumen zu überwachen, zu steuern oder selbst auszuführen.
Die Figur 3 zeigt eine durch die Fotosensoren in der Praxis wahrgenommene Szene, bei der eine Terrassentür 30 aus einem Raum heraus betrachtet wird. Die Tür 30 weist ein Fenster 31, ein Schlüsselloch 32 und ein Türblatt 33 auf. Vor der Tür hängt eine Spinne 34, und durch das Fenster 31 ist eine Strandszene 35 sichtbar.
Die Beleuchtungsunterschiede in dieser Szene liegen zwischen etwa 10"1 cd/m2 im Bereich des Türschlosses über 10' cd/m2 im Bereich der Spinne und 101 cd/m2 im Bereich des Türblattes bis hin zu 10" - 10r cd/m2 im Außenbereich. Derartige Leuchtdichteunterschiede sind simultan mit herkömmlichen Kameras und im übrigen auch mit dem menschlichen Auge nicht sichtbar. Die Leuchtdichteanpassung erfolgt immer nur in dem jeweils betrachteten Bereich.
In der Figur 4 ist in Gestalt eines Diagramms dargestellt, wie das Vorverarbeitungsmodul der Kamera 1 aufgrund seiner Mustererkennungsfuktionen die einzelnen Bereiche voneinander abgrenzt und mit unterschiedlichen Funktionen in Leuchtdichtestufen der Kameraabbildung umsetzt. Auf der x-Achse ist die Leuchtdichte in cd/m2 über insgesamt 9 Dekaden aufgezeichnet, so wie sie im realen Bild der Figur 3 auftritt. Die y-Achse zeigt die 256 relativen Einheiten des Leuchtdichtearbeitsbereichs, die von der Kamera bzw. deren Vorverarbeitungsmodul der Bilddarstellung zugewiesen wird. 256 Einheiten entsprechen einer Leuchtdichtemodulation von 8 Bit.
Eine erste Leuchtdichtekurve L-,_ zeigt den Bereich der Leuchtdichte des Türschlosses 32, abgebildet auf die 256 relativen Leuchtdichtestufen der Kameraabbildung. Entsprechende Leuchtdichtekurven L, für das Türblatt 33, L_,_ für die Spinne 34 und L35 für den Außenbereich 35 sind ebenfalls dargestellt .
Das Vorverarbeitungsmodul erkennt in der eingehenden Abbil¬ dung unterschiedliche, konturenscharf voneinander abgegrenzte Bereiche mit den vier unterschiedlichen Leuchtdichtebereichen. Diese Bereiche werden rechnerisch voneinander getrennt und jeweils mit optimaler Auflösung auf die 256 Helligkeits¬ stufen der Kameraabbildung transponiert. Im Ergebnis zeigt sich dem Betrachter der Szene gemäß Figur 3 ein Bild, bei dem die Bildbereiche 32, 33, 34 und 35 in der Darstellung ähnlich hell und kontrastreich und mit entsprechender Strukturierung in den verschiedenen Helligkeitsstufen dargestellt werden. Eine solche Darstellung kann ungewohnt sein, sie bietet aber einen Detailreichtum in verschiedenen Regionen, der weder mit dem menschlichen Auge noch mit herkömmlichen Kamerasystemen simultan darstellbar ist.
Die Abbildung gemäß Figur 3 zeigt auch Objekte unterschiedlicher Distanz. So sind die Objekte 32, 33 und 34 beispielsweise auf einer Entfernung von 2 m vom Betrachter angeordnet, während die dem Außenbereich 35 zugeordnete Palme 36 in einer Entfernung von 40 m stehen kann. Mit herkömmlichen Kameraobjektiven ist es in der Regel nicht möglich, beide Objekte 34 und 35 gleichzeitig scharf zu stellen. Die verfügbaren Tiefenschärfenbereiche reichen hierfür in der Regel nicht aus.
Der lernfähige sensomotorische Encoder kann gemeinsam mit dem Vorverarbeitungsmodul zunächst den entfernt liegenden Bereich 35 scharf stellen und dort konturenscharf abgegrenzte Regionen (Palme) erkennen und speichern. Sodann kann ein zweiter Entfernungsbereich gewählt werden, bei dem die Spinne 34 scharf eingestellt wird, während der Bereich 35 unscharf wird. Das Vorverarbeitungsmodul kann diesen Umstand erkennen und anstelle des unscharf gewordenen Bereichs 35 den zuvor ermittelten und gespeicherten scharfen Bildinhalt rechnerisch m das auf kurze Entfernung fokussierte Bild einfugen. Diese Abfolge kann m einer Art Fokusscannmg zyklisch wiederholt werden, so daß standig aus verschiedenen Fokussierungsentfer- nungen scharfe Bereiche ermittelt, gespeichert und zu einem insgesamt scharfen Bild zusammengefugt werden. Die Tiefenscharfe, die auf diese Art und Weise virtuell erreichbar ist, übersteigt diejenige eines normalen optischen Systems um ein Vielfaches. Bei ausreichender Wiederholfrequenz des Verfahrensablaufs ist für den Benutzer das erzeugte Bild von einem realen Bild nur anhand der besonders großen Tiefenscharfe zu unterscheiden .
Wesentliche Teile und Verfahren des lernfahigen Informationsverarbeitungssystems werden m Actιve Night Vision' Systemen als Nachtsichtgeräten mit beweglicher Blickachse,
Figure imgf000015_0001
Remote Vision' Systemen als korperferne Sichtgerate mit beweglicher Blickachse und für Portable Active Vision' Kamera Systeme mit beweglicher Blickachse eingesetzt.
Eine Anpassung des Leuchtdichte-Arbeitsbereiches des Encoders an die örtlich verteilte Bildmusterleuchtdichte oder an zusammengesetzte Teilbereiche des gesamt erfugbaren Leuchtdichte-Funktionsbereiches wird ermöglicht.
Mit der technischen Anpassung des Leuchtdichtearbeitsberei- ches ist es möglich, im physiologisch hell-adaptierten oder dunkel-adaptierten Leuchtdichtebereich die Funktion an die Bildmuster anzupassen oder einen Arbeitsbereich technisch zusammenzustellen, der z.B. aus um Dekaden voneinander entfernten Teilbereichen des über mehrere Leuchtdichtedekaden reichenden Photosensorfunktionsbereiches besteht.
Vorverarbeitung eintreffender Bildmuster insbesondere bezüglich Farbbewertung, Kontrast, Kantendetektion, Segmentierung und Figur-Hintergrund Trennung mit schneller Wahl- und Ande- rungsmoglichkeit der jeweiligen Vorverarbeitungsfunktionen wird ermöglicht.
Ein im normal nicht sichtbaren Bereich funktionierendes, am Kopf befestigtes Sichtgerat mit diversen lernfahigen Funktio¬ nen, welches Augenbewegungsfunktlonen, Kopfbewegungskompensation, Zoom, ortlich verteilte Akkommodation, örtlich verteilte Leuchtdichteadaptation, Meldung der Position detektierter Objekte, Bildvorverarbeitung und Mustererkennung leistet, wird vorgeschlagen.
Mit lernfahigen Active Night Vision Systemen wird der Funktionsbereich z.B. herkömmlicher Nachtsicht- oder Infrarotsicht- gerate wesentlich erweitert. Es kommen wesentliche bisher nicht erfugbare Funktionen hinzu.
Ein ferngesteuertes Sichtgerat als Active Remote Vision System mit diversen lernfahigen Funktionen, welches Augenbewegungsfunktionen, Zoom, ortlich verteilte Akkommodation, örtlich verteilte Leuchtdichteadaptation, Meldung der Bewegung des entfernten Sichtgerätes und der Position detektierter Objekte, Bildvorverarbeitung und Mustererkennung leistet und dessen Blickachse oder Kameraposition durch Augen- oder Kopfbewegungen des entfernten Benutzers gesteuert werden kann, wird vorgeschlagen.
Mit lernfahigen Remote Vision Systemen wird der Funktionsbereich z.B. herkömmlicher ferngesteuerter Überwachungsgeräte wesentlich erweitert und um diverse bisher überhaupt nicht erfugbare Funktionen angereichert.
Eine portable Kamera als Active Vision System mit diversen lernfahigen Funktionen, welche Augenbewegungsfunktionen, Zoom, ortlich verteilte Akkommodation, ortlich verteilte Leuchtdichteadaptation, Meldung der Position detektierter Objekte, Bildvorverarbeitung und Mustererkennung leistet, deren Blickachsenbewegung infolge Bewegung der Kamera z.B. infolge eines kinematisch gekoppelten, beweglichen beweglichen Benutzers oder Fahrzeuges kompensiert wird und welche vom Benutzer über einen separaten Monitor ausgewählte Objekte weitgehend autonom verfolgen kann, wird vorgeschlagen.
Mit lernfahigen Portable Active Vision Kameras wird der Funktionsbereich z.B. herkömmlicher portabler Kameras oder Video- Registπergerate wesentlich erweitert und um diverse, bisher überhaupt nicht verfugbare Funktionen angereichert.
Eine vorteilhafte Ausgestaltung des lernfahigen Active Night Vision Systems besteht darin, daß z.B. ein in einem Helm befestigtes Sichtgerat zunächst vom Benutzer nicht sichtbare Szenen oder Bilder durch geeignete Verfahren m den sichtbaren Bereich transponiert und durch ein Vorver-arbeitungs- Modul vereinfacht, daß die Blickachse des Sichtgerätes durch geeignete, optische, mechanische, oder elektronische Verfahren beweglich ist und vom Betrachter m verschiedene Blickbewegungsmoden, wie z.B. automatisches Umherblicken oder pradiktive Verfolgung bewegter Objekte auch bei vorübergehendem Verlust des Sichtkontaktes geschaltet werden kann, daß bei diesen technisch erzeugten "Augenbewegungen" auftretende Kopfbewegungen des Benutzers durch Auswertung der detektier- ten Kopfbewegungen kompensiert werden, daß Zoom und ortlich verteilte Akkommodation technisch verstellt werden, daß eine bidirektionale Kommunikation zwischen dem Sichtgerat und dem Benutzer besteht, daß zur Kontrastoptimierung und Blendungsvermeidung eine ortlich verteilte Leuchtdichte-Adaptation durch Verwendung eines sehr schnellen und über mehrere Leuchtdichtedekaden empfindlichen Photosensorarrays erzeugt und schnell angepaßt wird, daß bei Bedarf die Position anvisierter Objekte relativ zum Korper des Benutzers diesem z.B. als Tastwahrnehmung auf der Haut gemeldet wird und daß die einzelnen Funktionen von einem digitalen Signalprozessor gesteuert und durch neuronale Netze m einer Lernphase optimiert werden. Eine vorteilhafte Ausgestaltung des lernfahigen Active Remote Vision Systems z.B. für Uberwachungsaufgaben und Videotelefo- nie besteht darin , daß der Benutzer über einen am Helm befestigten Monitor mit Kopfbewegungssensor sowie eine Befehl- semgabe-Emheit m bi-direktionaler Kommunikation mit einem vom Korper entfernten Sichtgerat m Verbindung steht, daß die Blickachse des Sichtgerätes durch geeignete, optische, mechanische, oder elektronische Verfahren beweglich ist und vom Betrachter m verschiedene Blickbewegungsmoden, wie z.B. Umherblicken oder pradiktiver Verfolgung bewegter Objekte auch bei vorübergehendem Verlust des Sichtkontaktes geschaltet werden kann, daß die Blickachse des Sichtgerätes von den seinerseits detektierten Augenbewegungen des Betrachters nach einer Lernphase gesteuert werden kann, daß m einer Lernphase die Koordinatensysteme im Bereich des Sichtgerätes denjenigen des Betrachters angepaßt werden, daß die Lage der entfernten Kamera und damit das Referenzkoordinatensystem für das Blicksystem durch Blickbewegungen des Betrachters verändert werden kann, daß die Position erkannter Objekte dem Betrachter z.B. als Tastwahrnehmung auf der Haut gemeldet wird, daß Zoom und örtlich verteilte Akkommodation technisch verstellt werden, daß zur Kontrastoptimierung und Blendungsvermeldung eine ortlich verteilte Leuchtdichte-Adaptation durch Verwendung eines sehr schnellen und über mehrere Leuchtdichte-Dekaden empfindlichen Photosensor-Arrays erzeugt und schnell angepaßt wird, daß mit einem lernfahigen Vorverarbeitungs-Modul Bildmuster insbesondere bezüglich Farbe, Konrast, Kantendetektion, Segmentierung und Figur-Hintergrund Trennung zur Mustervereinfachung und teilweisen Abbildung aus dem Musterraum m einen Merkmalsraum vorverarbeitet werden und daß die einzelnen Funktionen von einem digitalen Signalprozessor gesteuert und durch neuronale Netze m einer Lernphase optimiert werden.
Eine vorteilhafte Ausgestaltung der Portable Active Vision Kamera z.B. als intelligente, mit dem Benutzer mitgefuhrte Kamera besteht darin, daß die Blickachse der Kamera durch geeignete, optische, mechanische, oder elektronische Verfahren beweglich ist und vom Betrachter m verschiedene Blickbewegungsmoden, wie z.B. Umherblicken oder pradiktiver Verfolgung bewegter Objekte auch bei vorübergehendem Verlust des Sichtkontaktes geschaltet werden kann, daß der Benutzer über ein Kontroll-Modul über eine bi-direktionale Kommunikation Kontakt zur Kamera hat, daß die Kamera mit Bewegungssensoren sowie Zoom, örtlich verteilte Akkommodationsanderung und einer örtlich regional zusammenstellbaren Leuchtdichte-Adaptation insbesondere zur Kontrastoptimierung und Ubersteuerungsver- meidung ausgestattet ist, daß Kamerabewegungen infolge der Bewegung z.B. des bewegten Benutzers oder des mit der Kamera gekoppelten Fahrzeuges durch entsprechende kompensatorische Bewegungen der Blickachse weitgehend kompensiert werden, daß vom Benutzer ausgewählte Objekte auch wahrend Bewegungen von Objekt und/oder Benutzer kontinuierlich verfolgt und auf einem Monitor laufend dargestellt werden, und daß schließlich die Funktionen mit neuronalen Lernverfahren optimiert werden.

Claims

Patentansprüche
Aktives Kamerasystem mit einem lernfahigen sensomotori- schen Encoder, mit einer zentralen Kontrollemheit für Signalverarbeitungsfunktlonen, Uberwachungsf nktionen, und Steuerfunktionen, sowie mit einer steuerbaren Kame- rae heit (1) mit beweglicher Blickachse (2), d a d u r c h g e k e n n z e i c h n e t , daß wenigstens eine Detektoreinheit (4,12,13) für rotatorische und/oder translatorische Bewegungen vorgesehen ist.
Kamerasystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß die Detektoreinheit (4,12,13) kinematisch mit der Kameraeinheit (1) und/oder mit einem Benutzer (10) gekoppelt ist.
Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß die Detektoreinheit (4,12,13) einen Augenbewegungsdetektor (13) umfaßt, der Augenbewegungen des Benutzers (10) erfaßt.
Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß ein am Kopf des Benutzers (10) befestigtes Sichtgerat (15) mit Kopfbewegungssensoren (12) vorgesehen ist, welches für das menschliche Sehsystem nicht oder nur schwer sichtbare Bildmuster und Szenen durch Restlichtverstarkung nach Art eines Nachtsichtgerätes oder durch Auswertung einer Beleuchtung im nicht sichtbaren Wellenlangen- bereich sichtbar macht.
5. Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß Kopfbewegungen des Benutzers (10) durch elektronische Bildverschiebung und/oder mechanische Bewegung der Blickachse (2) der Kameraeinheit (1) kompensiert werden und/oder Kopfbewegungen korrespondierende Bewegungen der entfernt angeordneten Kamera steuern können.
6. Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß ein bidirektionaler Kommunikationsweg zwischen den dem Benutzer zugeordneten Komponenten und der Kamera (1) besteht .
7. Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß ein am Kopf befestigbarer Bildmonitor (15) vorgesehen ist, wobei die Kamera (1) vom Körper des Benutzers (10) entfernt angeordnet ist und die Blickachse (2) des entfernten Sichtgerätes (1) durch Augenbewegungen und/oder Kopfbewegungen des Benutzers (10) oder durch simulierte Blick- und pradiktive Folgebewegungen zur autonomen Verfolgung bewegter Objekte (11) in einem geeigneten Koordinatensystem gesteuert wird.
8. Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß die Kontrolleinheit (6) von der Kamera (1) beabstandet sowie mit einem Monitor (7) versehen ist, wobei die Kontrolleinheit (6) eine Eingabevorrichtung (9) zur Eingabe von Steuerbefehlen und Arbeitsprogrammen für die Kamera (1) umfaßt .
9. Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß ein Vorverarbeitungsmodul vorgesehen ist, das zur Erkennung charakteristischer Muster und/oder zur Datenreduktion eingerichtet ist.
10. Kamerasystem nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß bei einer nicht oder nicht direkt mit dem Korper (10) gekop¬ pelt angeordneten Kamera (1) ein Lage- und Bewegungssensor (4) vorgesehen ist, wobei Bewegungen der Kamera (1) relativ zur Lage des Benutzers (10) an ein geeignetes Sinnesorgan (15) wie z.B. den Tastsinn der Haut im Hals- bereich übermittelt und wahrnehmbar werden.
11. Verfahren zum Betrieb eines Kamerasystems nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß Augenbewegungen zum Zwek- ke der Bewegung der Blickachse (2) der Kamera (1) simuliert werden, insbesondere für schnelles Umherblicken oder kontinuierliche und pradiktive Objektverfolgung.
12. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß die Brennweite, die Fokussierungsentfernung (Akkommodation) und/oder die Leuchtdichte-Adaptation getrennt für verschiedene Bildbereiche automatisch variiert wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß die Position eines mit der Blickachse (2) verfolgten Objekts (11) relativ zum Benutzer (10) an ein geeignetes Sinnesorgan (15) übermittelt wird, insbesondere der Benutzer vor Hindernissen bzw. Gefahren gewarnt wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß der Leuchtdichtearbeitsbereich aus nichtlinear bewerteten Ausschnitten des über mehrere Dekaden verteilten Bildmu- sterleuchtdichtebereiches sowohl m bezug auf Szenenorte (32,33,34,35) als auch deren zugehörige Leuchtdichte insbesondere zur Kontrastoptimierung und Blendungsver- meidung m einer Lernphase zusammengestellt wird und automatisch oder vom Benutzer schnell verändert werden kann und daß mittels eines lernfahigen Vorverarbeitungsmoduls zur Vereinfachung der Bildmuster oder Szenen de- tektierte Bildmuster durch lernfahige oder vorgegebene Vorverarbeitungsverfahren insbesondere bezuglich Farbbewertung, Kontrastverstarkung, Kantendetektion, Segmentierung und Figur-Hintergrund-Trennung umgewandelt werden.
15. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß zur technischen Anpassung des Leuchtdichtearbeitsbereiches aus dem über mehrere Leuchtdichtedekaden reichenden Funktionsbereich des Photosensorarrays ein Arbeitsbereich bezüglich Große und Adaptationsleuchtdichte
(L32, L33, L34, L35) gewählt werden kann, daß dieser ausgewählte Arbeitsbereich aus nichtlinear bewerteten Ausschnitten des Funktionsbereichs zusammengesetzt werden kann, daß durch ein geeignetes Abbildungsystem visuelle Szenen mit ortlichen Teilbereichen sehr unterschiedlicher Leuchtdichte m den jeweiligen, gemeinsamen Leucht- dichtearbeitsbereich des Encoders transponiert werden können.
16. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß der Benutzer über das Kontrollmodul (6) mit Monitor (7) den Bildmusterverlauf überwachen und entsprechend verschiedene Kamerablickbewegungsmoden anwählen kann und daß der Benutzer oder ein vorgegebener Suchalgorithmus bei Auftauchen eines gewünschten Objektes (11) auf dem Monitor (7) eine pradiktive Objektverfolgung oder Fixation insbesondere für Uberwachungs- oder Videotelefonanwendungen auslosen kann, wobei gleichzeitig eine Kompensation der durch Bewegung des Benutzers, eines Fahrzeugs oder einer die Kamera (1) tragenden Struktur (3) verursachten Kamerabewegung ausgeführt wird.
17. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß Augenbewegungen durch elektronische Bildmusterverschiebung m der Eingangsstufe des Encoders, durch optische Variation der Blickrichtung (2) oder durch Bewegung der Photosensoren simuliert werden.
18. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß unter Verwendung der detektierten Kopf- und Augenbewegungssignale und der Bildmusterverschiebung oder anderer Augenbewegungssimulationen mit Hilfe einer neuronalen, oder konventionellen Bewegungsregelung bzw. -Steuerung schnelle und langsame Augenbewegungen für Aufgaben der Mustererkennung oder des schnellen Umherblickens erzeugt werden oder daß pradiktive Augenfolgebewegungen intern generiert, aufgrund sensorischer Signale aktualisiert und insbesondere zur Verfolgung und zur zeitweiligen Bewegungsfortfuhrung bei vorübergehendem Verschwinden des zu verfolgenden Objektes (11), vorzugsweise mit einem neuronalen Pradiktor erzeugt werden.
19. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß zur Lagestabilisierung der Bildmuster bei naturlichen Kopf- Rumpfbewegungen kompensatorische Bewegungen der Kamera- blickachse (2) m Anlehnung an den vestibulo-okularen Reflex erzeugt werden.
20. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , daß m einem Ablauf durch Variation der Akkommodation zunächst erste Bereiche (35,36) des Blickfeldes scharf eingestellt werden, diese Bereiche (35,36) gespeichert werden, sodann zweite Bereiche (32,33,34) des Blickfeldes als Bild scharf eingestellt werden, wobei die ersten Bereiche (35,36) unscharf werden, und daß die ersten gespeicherten Bereiche (35,36) anstelle der ersten unscharf gewordenen Bereiche (35,36) m das Bild eingeblendet werden.
21. Verfahren nach Anspruch 19, d a d u r c h g e k e n n z e i c h n e t , daß der Ablauf sich zyklisch wiederholt .
PCT/EP1998/000970 1997-02-21 1998-02-20 Lernfähiges aktives kamerasystem WO1998037691A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU64990/98A AU6499098A (en) 1997-02-21 1998-02-20 Adaptive active camera system
PCT/EP1998/000970 WO1998037691A1 (de) 1997-02-21 1998-02-20 Lernfähiges aktives kamerasystem
DE19880174T DE19880174D2 (de) 1997-02-21 1998-02-20 Lernfähiges aktives Kamerasystem

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19707046.9 1997-02-21
DE19707046A DE19707046A1 (de) 1997-02-21 1997-02-21 Lernfähiger "Active Vision" Implant Encoder
PCT/EP1998/000970 WO1998037691A1 (de) 1997-02-21 1998-02-20 Lernfähiges aktives kamerasystem

Publications (1)

Publication Number Publication Date
WO1998037691A1 true WO1998037691A1 (de) 1998-08-27

Family

ID=37441570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1998/000970 WO1998037691A1 (de) 1997-02-21 1998-02-20 Lernfähiges aktives kamerasystem

Country Status (3)

Country Link
AU (1) AU6499098A (de)
DE (1) DE19880174D2 (de)
WO (1) WO1998037691A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10041085A1 (de) * 2000-08-22 2002-03-21 Fujitsu Siemens Computers Gmbh Tragbares Orientierungssystem
DE102008002809A1 (de) 2008-03-21 2009-09-24 Patev Gmbh & Co. Kg Mikromechanische Vorrichtung
US9389431B2 (en) 2011-11-04 2016-07-12 Massachusetts Eye & Ear Infirmary Contextual image stabilization

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
GB2253109A (en) * 1990-11-28 1992-08-26 Hitachi Europ Ltd Tracking using neural networks
US5148502A (en) * 1988-02-23 1992-09-15 Olympus Optical Co., Ltd. Optical image input/output apparatus for objects having a large focal depth
JPH0686151A (ja) * 1992-09-03 1994-03-25 Sony Corp 撮像システム及びそれに用いる撮像用機器
US5329368A (en) * 1990-08-02 1994-07-12 Hughes Aircraft Company Image tracking system and technique
EP0725536A2 (de) * 1995-02-03 1996-08-07 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur Bildabtastung mit Dynamikumfangserweiterung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
US5148502A (en) * 1988-02-23 1992-09-15 Olympus Optical Co., Ltd. Optical image input/output apparatus for objects having a large focal depth
US5329368A (en) * 1990-08-02 1994-07-12 Hughes Aircraft Company Image tracking system and technique
GB2253109A (en) * 1990-11-28 1992-08-26 Hitachi Europ Ltd Tracking using neural networks
JPH0686151A (ja) * 1992-09-03 1994-03-25 Sony Corp 撮像システム及びそれに用いる撮像用機器
EP0725536A2 (de) * 1995-02-03 1996-08-07 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur Bildabtastung mit Dynamikumfangserweiterung

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GIEFING G J ET AL: "A saccadic camera movement system for object recognition", ARTIFICIAL NEURAL NETWORKS. PROCEEDINGS OF THE 1991 INTERNATIONAL CONFERENCE. ICANN-91, ESPOO, FINLAND, 24-28 JUNE 1991, ISBN 0-444-89178-1, 1991, AMSTERDAM, NETHERLANDS, NORTH-HOLLAND, NETHERLANDS, pages 63 - 68 vol.1, XP002069243 *
PATENT ABSTRACTS OF JAPAN vol. 018, no. 342 (E - 1570) 28 June 1994 (1994-06-28) *
WAKAMATSU H ET AL: "Realization of physiological eye movements by automatic selection of control laws using artificial neural network", THIRD INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS (CONF. PUBL. NO.372), BRIGHTON, UK, 25-27 MAY 1993, ISBN 0-85296-573-7, 1993, LONDON, UK, IEE, UK, pages 113 - 117, XP002069242 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10041085A1 (de) * 2000-08-22 2002-03-21 Fujitsu Siemens Computers Gmbh Tragbares Orientierungssystem
US6549122B2 (en) 2000-08-22 2003-04-15 Fujitsu Siemens Computers Gmbh Portable orientation system
DE10041085C2 (de) * 2000-08-22 2003-04-30 Fujitsu Siemens Computers Gmbh Tragbares Orientierungssystem
DE102008002809A1 (de) 2008-03-21 2009-09-24 Patev Gmbh & Co. Kg Mikromechanische Vorrichtung
US9389431B2 (en) 2011-11-04 2016-07-12 Massachusetts Eye & Ear Infirmary Contextual image stabilization
US10571715B2 (en) 2011-11-04 2020-02-25 Massachusetts Eye And Ear Infirmary Adaptive visual assistive device

Also Published As

Publication number Publication date
AU6499098A (en) 1998-09-09
DE19880174D2 (de) 2000-01-05

Similar Documents

Publication Publication Date Title
EP1889113B1 (de) System mit elektronischer tag- und nachtsichtbrille
EP0342419B1 (de) Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
EP0971770B1 (de) Lernfähiger sensomotorischer encoder für seh- oder hörprothesen
DE10251933B4 (de) Aufnahmevorrichtung für die kopfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
DE112006002954B4 (de) Virtuelles Schnittstellensystem
DE102015219111B4 (de) Fahrerassistenzsystem und Verfahren zur Anpassung der Beleuchtung von Bedienelementen bei Kraftfahrzeugen
DE19836681B4 (de) Stereoskopisches Aufnahme- und Wiedergabesystem
DE3342126C2 (de)
EP1614080B1 (de) Überwachungsvorrichtung
DE19834205A1 (de) Vorrichtung mit stereoskopischer Darstellung
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
DE4417768A1 (de) Verfahren und Vorrichtung zum Projizieren von Bildinformationen bei Personen mit durch eine Abweichung der Stellung ihrer Sehachse verursachten Störungen des Sehens
WO2019134845A1 (de) Spiegelersatzsystem sowie verfahren zur darstellung von bild- und/oder videodaten der umgebung eines kraftfahrzeugs
DE102013100569A1 (de) Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung
DE4417762C1 (de) Vorrichtung und Verfahren zum Projizieren und Empfangen von Bildinformation mittels eines Bildschirms
DE10226398B4 (de) Verfahren und Vorrichtung zum Erfassen der Lage eines Objekts im Raum
WO1998037691A1 (de) Lernfähiges aktives kamerasystem
AT521845B1 (de) Verfahren zur Fokuseinstellung einer Filmkamera
DE102006060904B4 (de) Flughafenverkehrsinformations-Anzeigesystem
WO2017140309A1 (de) Verfahren zur steuerung eines an einem fahrzeug richtbar angeordneten sichtgerätes
DE102014106865A1 (de) Bediensystem für ein Operationsmikroskop mit automatischer Folge- oder Ausrichtungsvorrichtung, Verfahren und Operationsmikroskop
DE102012008736A1 (de) System und Verfahren zur dynamischen Lichtstromfilterung
DE102018206405B3 (de) Mikroskopiesystem sowie Verfahren zum Betrieb eines Mikroskopiesystems
DE19736880C1 (de) Elektronische Brille
WO2019007936A1 (de) Visuelles ausgabegerät mit einer kamera und präsentations-verfahren

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AM AT AU BA BB BG BR BY CA CH CN CU CZ DE DK EE ES FI GB GE GM GW HU IL JP KE KG KP KR KZ LC LK LR LT LU LV MD MG MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TT UA US UZ VN YU ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
REF Corresponds to

Ref document number: 19880174

Country of ref document: DE

Date of ref document: 20000105

WWE Wipo information: entry into national phase

Ref document number: 19880174

Country of ref document: DE

NENP Non-entry into the national phase

Ref document number: 1998536261

Country of ref document: JP

122 Ep: pct application non-entry in european phase