WO2009138069A1 - Augmented reality fernglas zur navigationsunterstützung - Google Patents

Augmented reality fernglas zur navigationsunterstützung Download PDF

Info

Publication number
WO2009138069A1
WO2009138069A1 PCT/DE2009/000663 DE2009000663W WO2009138069A1 WO 2009138069 A1 WO2009138069 A1 WO 2009138069A1 DE 2009000663 W DE2009000663 W DE 2009000663W WO 2009138069 A1 WO2009138069 A1 WO 2009138069A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
marker
plane
coordinate system
markers
Prior art date
Application number
PCT/DE2009/000663
Other languages
English (en)
French (fr)
Inventor
Reinhard Koch
Kristine Haase
Original Assignee
Christian-Albrechts-Universität Zu Kiel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Christian-Albrechts-Universität Zu Kiel filed Critical Christian-Albrechts-Universität Zu Kiel
Publication of WO2009138069A1 publication Critical patent/WO2009138069A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/04—Adaptation of rangefinders for combination with telescopes or binoculars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
    • G01S3/784—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the invention relates to a system and a method for augmenting an electronic image of a real scene with computer-generated information.
  • the invention relates to a magnifying electronic camera with a binocular display arranged thereon in the manner of a binocular, in which case computer-generated picture elements are superimposed on the camera image of a real scene.
  • the invention relates to a method of setting up the insertion of the symbols in an exact fit with respect to previously known objects of the real scene, taking into account the current camera position and pose.
  • the invention relates to a device and a method for navigational support, in particular in maritime transport.
  • An augmentation is the insertion of additional information in recordings of the user's real environment.
  • the simplest form of image augmentation is to fade in information that is not directly related to the real scene, e.g. Date and time in electronic photographs.
  • Another example is the insertion of current instrument displays into the field of view of a pilot so that he does not have to avert his gaze from a target at infinity and focus on the instruments in order to read them. He therefore does not have to tilt his head, which gives such a device the name "Head Up Display” (HUD).
  • HUD Head Up Display
  • Scene reconstruction is first to determine whether the object is in the field of view of the camera, and if so, where - in pixel coordinates - of the electronic image. It is always desirable to display additional information, e.g. a symbol (icon) or an object name, at or immediately adjacent to the position of the object in the image.
  • additional information e.g. a symbol (icon) or an object name
  • BESTATIGUNGSKOPIE EP 0 722 601 B1 sets out expedient expedient applications of "Augmented Reality” (AR) sighting systems and provides information on the basic design of corresponding devices, inter alia, the document also proposes an AR binoculars to assist the navigation officer of a ship
  • a nautical bearing has hitherto only been possible in the case of visual contact with stationary objects, whereby an alignment with nautical charts must be undertaken to identify the objects.
  • An AR binocular can contribute nightly or blind vision to the objects for identifying the navigational elements and provide additional information such as current distance or characteristics such as beacon timings.
  • the positions of such navigation elements and associated augmentation information are taken from digitized, standardized charts that are commercially available as an electronic database.
  • arithmetic unit e.g. Microprocessor
  • Apparatus for determining the camera pose i. the axes of rotation and angles with respect to a reference coordinate system (here: moved by ship)
  • the camera will either zoom or be equipped with a fixed telephoto lens for magnification.
  • the arithmetic unit will be a commercially available PC, in which one preferably also stores the data base and holds it retrievable by the processor.
  • a position determining device is a GPS (Global Positioning System) receiver or similar device on the hand. Since ships are equipped anyway with such a system and moreover with a high-precision compass, one will want to provide the data to the ship position and the current course ("heading") of the ship of the arithmetic unit and can to it for the AR system use.
  • an AR binocular should be picked up on the bridge of the ship and brought to the user's eyes. Consequently, determining the camera pose in real time is the critical factor for the usability of the system.
  • the user will not be able to hold the AR binoculars ideally in a fixed pose relative to the ship's hull, especially not in rough seas when he wants to keep track of a particular landmark.
  • the augmentation has to be adjusted to keep his movements moving, so that he can make good use of them.
  • the device for determining the pose of the camera is to be integrated in the hand-held device and should be based either on the measurement of the earth's magnetic field or on built-in gyro sensors.
  • the magnetic field measurement is practically impossible in the completely metallic hull.
  • Gyroscopes or inertial sensors allow only relative rotation determination and drift over time, are therefore not applicable. But a high-precision gyro compass could prevent this, but is not installable in hand-held AR binoculars.
  • AR binoculars is rigidly connected to capture. This additional camera should i. F. as
  • Tracking camera are called.
  • the movements of the object points in the image recorded by the tracking camera during translation or rotation of the movable AR system component can be tracked and used to determine the - A -
  • Position and pose are evaluated in real time. Also typical is the installation of marker objects at previously known locations in the workspace of the AR system (e.g., industrial hall) that are as visible as possible from all positions of the tracking camera to facilitate this evaluation.
  • AR system e.g., industrial hall
  • the formation of the tracking camera as a spherical or semi-spherical camera, i. with one or two fisheye lenses for imaging an approximately 180 ° or 360 ° environment, as taught by DE 10 2004 017 730 B4.
  • the movable AR system component is also rigidly connected to a 3DOF rotation sensor in addition to the tracking camera, then it is possible to compensate the spherical image recorded by the tracking camera in a time-keeping manner with the movement against the rotation ie the spherical image appears invariant on a monitor against rotations of the AR system component.
  • the rotation-compensated image contains only information about the translation and can be evaluated separately, which represents a significant simplification in practical applications.
  • the first challenge lies in the accuracy of the pose determination to be achieved. Enlarging the look typical of binoculars requires much higher accuracy than other applications, yet still provides pixel-accurate augmentation.
  • the second problem in the implementation of a tracking-based pose determination is that appropriate tracking objects, ie markers, undoubtedly in the vicinity of the AR binoculars, so on the bridge, are to be attached, but then this due to the sea in an unpredictable manner towards the coordinate system of interest, in which the pose of the AR binoculars must ultimately be determined. It is therefore the object of the invention to provide a device for augmenting the image of a hand-held binoculars from the perspective of a ship's bridge with information from electronic charts and a method of operating this device, which allows a sufficiently accurate pose determination of the binoculars.
  • the device comprises a perspective electronic camera (augmentation camera) with a telephoto lens (or a zoom lens) for recording the field of view of the user, a spherical camera (tracking camera) for recording markers in the local environment and a sensor for measuring the direction of gravity ( artificial horizon) and a display to show the augmentation (in general, the mobile component of the overall system is only briefly called AR binoculars).
  • the device according to the invention further comprises a computer, e.g. a PC, but not necessarily integrated in the AR binoculars.
  • the computer should preferably receive information from the navigation devices of the ship (position, heading) and should have a data connection with these.
  • the calculator also keeps electronic nautical charts stored and has particular access to positions of visible objects (landmarks, buoys, etc.).
  • the computer must be able to exchange data with the AR binoculars. This can be wired according to the prior art, but preferably also be wireless.
  • the last and very important component of the device according to the invention is an arrangement of at least two markers which are permanently installed in the interior of the ship's bridge.
  • the exact positions of these markers are - in contrast to the prior art of image reconstruction - rather unimportant, but they must indicate by their relative position to each other a defined direction relative to the ship.
  • the markers are arranged in a line along this once-selected direction. It is especially beneficial, though not necessary if the markers are installed along the longitudinal axis of the ship, thus indicating the heading direction.
  • the device according to the invention need not necessarily be designed as a self-contained unit. Instead, the device according to the invention can be designed as an arrangement of individual devices / devices or as a system consisting of individual devices / devices.
  • the markers should preferably be attached to the ceiling of the bridge approximately in the middle.
  • All markers are to be arranged in one plane.
  • this plane is always perpendicular to the direction of the gravitational field.
  • the task of the second gravity sensor is to measure any inclination of the marker plane against the - ideally desired - plane perpendicular to the direction of gravity and, e.g. in the form of the twist angle with respect to the gravitational field, continuously provide the computer.
  • a marker in the sense of this invention is to be understood as an object which indicates only one point in space. For a direction indication, therefore, at least two markers are provided.
  • the perspective camera indicates the current viewing direction, while the tracking camera is mounted as a semi-spherical camera rotated by 90 degrees to the viewing direction upwards.
  • the display is designed on the basis of a conventional binoculars as a binocular display. The following figures serve to explain the method by which the above-mentioned device is capable of holding pixel-precise additional information in the picture taken by the perspective camera. Showing:
  • Fig. 1 is a sketch of the horizontal plane (tangential surface to the globe), which is the for the
  • Fig. 3 is a sketch of the imaging property of a spherical lens (fish eye);
  • FIG. 4 shows a sketch of the device according to the invention with an exemplary marker arrangement.
  • the Cartesian horizon system (in short: H) will be used for purposes of distance determination. Its origin lies o. B. d. A. on the Ship bridge, and while, for example, the z axis is fixed by the local gravity field, the x and y axes can rotate about the z axis solely due to a course change of the ship. Nevertheless, the horizon system should not be regarded as firmly connected to the ship's hull, because rolling and pitching movements of the ship's hull should not change the horizon system. However, they nevertheless change the absolute positions of the markers on the bridge in the horizon system.
  • the second relevant coordinate system is that of the camera (in short: K). It is also Cartesian (x ', y', z '), rigidly connected to the camera, and preferably defined so that one of its axes (eg, the y' axis) coincides with the optical axis of the augmentation camera, that is, the main viewing direction.
  • the light-sensitive pixels of the camera lie in the image plane, which should lie here in the (x ', z') plane.
  • the tracking camera still exists as a further image plane, which is arranged parallel to the (x ', y') plane of the camera. In particular, pixel coordinates (p x -, p y ) are present in this plane.
  • the local position of the AR binoculars on the bridge of the ship is not exactly known because the user can move. In a conventional AR method, this position would have to be calculated consuming. From the distance of the objects to be augmented, which is between about a few 100 m to about 10 km from the observer, it follows that both the remaining fuzziness of the determination of the ship's position (eg via GPS) and the fuzzy determination of the position of the ship AR-binoculars "anywhere on the bridge" in practical operation does not affect the accuracy of the augmentation, so the local translation of the AR binoculars relative to the bridge position is neglected, implying that the coordinate systems H and K can assume a common origin and insofar as only the rotation of the two is to determine each other.
  • the real visible objects recorded in the electronic nautical chart are to be entered.
  • the coordinate transformation is with increasing distance of the objects to the ship is more erroneous, since one naturally does not take account of the curvature of the earth.
  • the error is sufficiently small, as long as one is limited to objects within a radius of up to 15 km around the current position (Gloeckler, Joy, Simpson, Specht, Ackeret, "Handbook for Transformation of Dates, Projections, Grids and Common Coordinate Systems ", ARMY TOPOGRAPHIC ENGINEERING CENTER ALEXANDRIA VA, 1996).
  • the AR binocular has a magnifying lens for the perspective camera.
  • a telephoto lens with magnification factor 7 is used, which corresponds to the magnification of nautical binoculars.
  • magnification factor of the arithmetic unit must be known, i. when the magnification changes, it must then be measured and transmitted to the arithmetic unit.
  • FIG. 2 shows these angles, the horizonal plane ((x, y) plane in H) being indicated in the background.
  • a gravity field sensor is installed in the AR-Femglas. This measures the component of the maximum acceleration in the direction of the center of the earth. Two of the angles of rotation with respect to H can thus be determined easily and quickly.
  • the output of the gravitational field sensor is preferably set up to take place directly in the coordinate system K which moves with the camera. Since one knows that the direction of the gravity field vector coincides with the z direction of H, x 'and y' components of the gravity field vector directly indicate the roll and pitch angles of the camera with respect to H.
  • the raw data of the gravitational field sensor are usually noisy and also prone to jerky movements.
  • the sensor generates 100 measurements per second with a short measurement delay, while the camera operates at a repetition rate of only 25 frames per second, but has a longer measurement delay. Therefore, the higher measurement rate of the sensor can be time filtered to stabilize the measurement and to increase the accuracy.
  • the sensor measurements are filtered in time with a filter with Gaussian window function so that the expected value of the sensor measurements is synchronized with the image recording in consideration of the delay.
  • the Gaussian window is asymmetrical in time so that the system-related different time delays are taken into account in image and sensor detection and no propagation delay occurs in the measurement.
  • the third is determined by the tracking camera, which maps the aligned marker arrangement.
  • markers it has proven to be advantageous to arrange the markers in a line along the heading direction of the ship. In this case, an asymmetrical arrangement is advantageous in order to differentiate bow and stern direction. Specifically, 7 marker points are used, which are placed in two groups of 3 or 4 markers along the heading direction. It should be understood, however, that any arrangement of markers that allows the identification of the heading direction is possible for the purposes of the invention.
  • all markers have to lie in one plane, preferably all are installed on the ceiling of the ship's bridge. It is very advantageous, but not essential, to provide a second gravitational field sensor in the marker plane, which continuously measures the inclination of this marker plane relative to the (x, y) plane of the horizontal system H and transmits it to the computer.
  • infrared LEDs are used as a marker in conjunction with an infrared pass filter in the tracking camera. This allows the tracking camera - except in strong sunlight - hide the daylight, and the self-illuminating LEDs, the markers are easy to detect even at night. By attaching the markers to the ship's ceiling, obstruction of the personnel as well as the AR-binoculars user can be excluded.
  • the remaining azimuth angle ⁇ by which the camera is rotated in relation to the heading direction of the ship (y-axis of H), is determined by continuous processing of the images of the spherical tracking camera.
  • the image processing first searches for possible point correspondences in the image. These may exceed the number of actual markers, which requires robust outlier detection. Since the geometry of the marker is known, the search algorithm can be optimized with this knowledge. For example, for the linear marker arrangement, outliers are detected by permutation of the candidates and approximation of a straight line. This sub-step of identifying a set of pixel coordinates p (l) in the image plane of the tracking camera, based on the projective ratio of points on a straight line that correspond to the markers in the real scene, is familiar to those skilled in the art and will not be described here be explained.
  • the thus measured set of pixel coordinates is preferably rendered.
  • a spot reduction is required.
  • the LEDs used have a characteristic flattening of the lenses, whereby a larger beam angle is achieved. This means that the LEDs in the image acquisition are easier to detect than LEDs with smaller beam angles.
  • the LEDs can always be assumed as circular correspondences, whereas small beam angles can lead to elliptical correspondences. At a distance of 1 m to 2 m from the ceiling, the LEDs can be detected with correspondence of approximately 15 pixels. This is too inaccurate for further calculations. Instead, one determines the center of the marker image even with subpixel accuracy by suitable template matching with a flattened 2D gaussheet filter mask and uses the optimized pixel coordinates for the rest.
  • the optical axis of the camera is perpendicular to the pixel plane through a central pixel with coordinates (X H , yH) (camera main point).
  • the special feature of the fisheye projection is that the angle ⁇ in the ideal case is linearly mapped to the radius of the circular disc. This is very well done in practice for small angles, but for ⁇ -> 90 ° the picture typically becomes non-linear.
  • 3 shows, by way of example, the calibration function k (&), which indicates the respective conversion factor of angle (for example radian) to pixel coordinates and is to be determined once for each objective.
  • the spherical image can be described by the polar coordinates ( ⁇ , ⁇ ) because of the above-mentioned linearity. If one disregards the problem of discrete pixels, since the pixel correspondences are determined with subpixel accuracy, an object point on the hemisphere has the pixel coordinates at the coordinates ( ⁇ , ⁇ ) in the pixel plane:
  • the three rotation angles are determined 25 times per second with an accuracy of 0.025 degrees (roll and pitch angles) and 0.03 degrees (azimuth angle), respectively. This corresponds to a pixel accuracy of 3-4 pixels in the augmentation, which is sufficient for most purposes.
  • a part of the device according to the invention is shown schematically to illustrate the preferred geometric arrangement.
  • the hand-held component of the device comprises the electronic camera 10 with a perspective, magnifying lens 12, a rigidly connected gravity sensor 14 and a binocular display 16 in which real images with augmentation data are displayed in a blended manner.
  • the spherical tracking camera 18 is connected, which looks up.
  • the - here linear - marker assembly 20 is fixedly installed on the ceiling of a room (indicated by the surrounding cuboid), i. it moves with a rotation of the space (for example when changing course of the ship).
  • the distance between tracking camera and marker arrangement is preferably 0.5 to 2 meters, with the length dimension of the marker arrangement preferably being between 1.5 and 2.5 meters.
  • the invention is directed to the apparatus and to a method practicable therewith for providing the rotation angles quickly and precisely, the difficulty a priori being that the horizon system H, in which the image augmentation is ultimately to be performed, is not rigidly connected to the hull.
  • a marker-tracking approach is therefore not obvious, as continuous movement of the markers with respect to H due to swell is to be postulated.
  • a purely marker-based tracking solution via image processing by markers in the vicinity of the bridge fails, since the coupling of rotation and translation in the near field correlations arise, which prevent a highly accurate rotation determination.
  • the hybrid coupling of gravity sensor and one-dimensional image-based heading determination can solve this problem.
  • the inventively preferred marker assembly is linear and aligned along the longitudinal axis of the ship. It is advantageously installed on the ceiling of the shipwrecks. Obviously, a rolling motion of the ship has no effect on the correct direction of the marker.
  • the error can be corrected by continuously determining the slope of the marker plane.
  • This inclination can be determined with the aid of the tracking camera alone if a two-dimensional marker arrangement is used instead of a linear one, so that perspective distortions can be recognized from the knowledge of the true geometry of the markers.
  • the two parallel linear marker arrays as described above now construed as a single two-dimensional array
  • such calculations may be too inaccurate, since the angles are usually quite small.
  • a simpler way out here is the continuous measurement of the inclination of the marker plane with a second gravitational field sensor, which, for example, is actually fixedly arranged next to the markers on the ceiling of the ship's bridge and thus tilts with the marker plane. It may be necessary to calibrate it once in relation to the actual slope of the installed marker plane in the dormant ship.
  • Equation can be calculated by means of a selection from the available marker coordinates can be cut with a plane inclined parallel to the marker plane.
  • Direction vector of the cut line then has a nonzero z "component, which can be ignored, because the true heading direction can only be read from the x" and y "component of this direction vector.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Vorrichtung zur Augmentierung eines elektronischen Abbildes einer realen Szene mit Augmentierungsinformationen umfassend eine perspektivische elektronische Kamera, ein Display zur Wiedergabe des Abbildes der realen Szene, eine Einrichtung zur Bestimmung der Position der perspektivischen Kamera in einem globalen Koordinatensystem, eine Einrichtung zur kontinuierlichen Bestimmung der Verdrehung der perspektivischen Kamera bezüglich des globalen Koordinatensystems, eine Datenspeichereinheit enthaltend die Augmentierungsinformationen bezüglich des globalen Koordinatensystems, eine Recheneinheit ausgebildet zur Kommunikation mit der Datenspeichereinheit und den Einrichtungen zur Positions- und Verdrehungsbestimmung sowie mit der perspektivischen Kamera und dem Display, wobei die Recheneinheit dem Display Anweisungen zur Darstellung der Augmentierungsinformationen derart erteilt, dass diese Informationen sichtbaren Objekten im Abbild der realen Szene zugeordnet sind, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Verdrehung der perspektivischen Kamera folgende Komponenten umfasst a. einen Sensor zur Messung der Schwerkraftrichtung in starrer Verbindung mit der perspektivischen Kamera, b. eine sphärische Kamera in starrer Verbindung mit der perspektivischen Kamera, wobei die Bildebenen der Kameras senkrecht aufeinander stehen, c. eine Markeranordnung umfassend wenigstens zwei Marker angeordnet in einer bezüglich des globalen Koordinatensystems verdrehbaren Markerebene derart, dass alle Marker im Sichtfeld der sphärischen Kamera liegen, wobei die Anordnung der Marker eine fest gewählte Richtung in der Markerebene indiziert, d. eine Einrichtung zur fortlaufenden Messung der Verdrehung der in der Markerebene indizierten Richtung gegenüber einer senkrecht zur Schwerkraftrichtung verlaufenden Achsenrichtung des globalen Koordinatensystems.

Description

AUGMENTED REALITY FERNGLAS ZUR NAVIGATIONSUNTERSTÜTZUNG
Die Erfindung betrifft ein System und ein Verfahren zur Augmentierung eines elektronischen Abbildes einer realen Szene mit computergenerierten Informationen. Die Erfindung betrifft insbesondere eine vergrößernde elektronische Kamera mit daran angeordnetem binokularem Display ausgebildet nach Art eines Fernglases, wobei im Display computergenerierte Bildelemente dem Kamerabild einer realen Szene überlagert werden. Die Erfindung betrifft ein Verfahren, diese Einblendung der Symbole passgenau in Bezug auf vorab bekannte Objekte der realen Szene einzurichten unter Beachtung der aktuellen Kameraposition und - pose. Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Navigationsunterstützung insbesondere im Seeverkehrswesen.
Eine Augmentierung ist das Einblenden von zusätzlichen Informationen in Aufnahmen der realen Umgebung des Benutzers. Die einfachste Form der Bildaugmentierung besteht im Einblenden von Informationen, die keinen direkten Bezug zur realen Szene haben, z.B. Datum und Uhrzeit in elektronischen Fotografien. Ein weiteres Beispiel ist das Einblenden aktueller Instrumentenanzeigen in das Sichtfeld eines Piloten, damit dieser seinen Blick nicht von einem Ziel im Unendlichen abwenden und auf die Instrumente fokussieren muss, um diese abzulesen. Er muss somit den Kopf auch nicht neigen, was einer solchen Vorrichtung die Bezeichnung „Head Up Display" (HUD) verschafft.
Sehr viel aufwendiger ist aber das Einblenden von Informationen über reale Objekte, die sich gerade im Sichtfeld des Beobachters befinden. Dies setzt voraus, dass die relative Position und Pose von Kamera zu Objekt bekannt sind oder ermittelt werden können, damit eine begrenzte Szenenrekonstruktion in einem Rechner erfolgen kann. Aufgabe der
Szenenrekonstruktion ist zunächst festzustellen, ob sich das Objekt im Sichtfeld der Kamera befindet, und falls ja, an welcher Stelle - in Pixelkoordinaten - des elektronischen Bildes. Wünschenswert ist stets die Einblendung von Zusatzinformationen, z.B. ein Symbol (Icon) oder eine Objektbezeichnung, an oder unmittelbar neben der Position des Objekts im Bild.
BESTATIGUNGSKOPIE Die EP 0 722 601 Bl stellt ausführlich zweckmäßige Anwendungsmöglichkeiten von „Augmented Reality" (AR)-Sichtsystemen vor und gibt Hinweise auf den prinzipiellen Aufbau entsprechender Vorrichtungen. Unter anderem schlägt die Druckschrift auch vor, ein AR-Fernglas zur Unterstützung des Navigationsoffiziers eines Schiffes zu konzipieren. Eine nautische Peilung ist bisher nur bei Sichtkontakt zu ortsfesten Objekten möglich, wobei ein Abgleich mit Seekarten zur Identifikation der Objekte vorgenommen werden muss.
Ein AR-Fernglas kann bei Nacht oder verdeckter Sicht zu den Objekten zur Identifikation der Navigationselemente beitragen und zusätzliche Informationen wie gegenwärtige Entfernung oder Eigenschaften wie Leuchtsignaltaktungen liefern. Die Positionen solcher Navigationselemente sowie zugeordnete Augmentierungsinformationen werden dafür aus digitalisierten, genormten Seekarten entnommen, die als elektronische Datenbasis kommerziell erhältlich sind.
Der EP 0 722 601 Bl zufolge sind folgende Komponenten für das AR-System vorzusehen:
• elektronische Kamera
• Recheneinheit, z.B. Mikroprozessor,
• Vorrichtung zur Positionsbestimmung,
• Vorrichtung zur Bestimmung der Kamerapose, d.h. die Drehachsen und -winkel bezüglich eines Referenzkoordinatensystems (hier: mit dem Schiff bewegt)
• Datenbasis mit Eintragungen zu Objekten (hier: elektronische Seekarte)
• Display, in dem das Bild der realen Szene mit computergenerierten Einblendungen überlagert dargestellt wird.
Um ein AR-Fernglas zu realisieren wird man bevorzugt ein binokulares Display verwenden wollen, schon um die gewöhnte Handhabung zu erleichtern. Die Kamera wird entweder zoomfähig oder aber mit einem fest gewählten Teleobjektiv zur Vergrößerung versehen sein. Die Recheneinheit wird ein handelsüblicher PC sein, in dem man vorzugsweise auch die Datenbasis gespeichert und vom Prozessor abrufbar vorhält. AIs Vorrichtung zur Positionsbestimmung liegt ein GPS (Global Positioning System) Empfänger oder eine vergleichbare Einrichtung auf der Hand. Da Schiffe ohnehin mit einem solchen System und überdies mit einem hochgenauen Kompass ausgestattet sind, wird man die Daten zur Schiffsposition und den aktuellen Kurs („Heading") des Schiffes der Recheneinheit zur Verfügung stellen wollen und können, um sie für das AR-System zu verwenden.
Ein AR-Fernglas soll natürlich auf der Schiffsbrücke in die Hand genommen und an die Augen des Nutzers geführt werden können. Folglich ist die Bestimmung der Kamerapose in Echtzeit der kritische Faktor für die Brauchbarkeit des Systems. Der Nutzer wird das AR- Fernglas nicht ideal in einer festen Pose relativ zum Schiffsrumpf halten können, erst recht nicht bei Seegang, wenn er eine bestimmte Landmarke im Auge behalten will. Die Augmentierung muss seinen Bewegungen Schritt haltend angepasst werden, damit er sie sinnvoll nutzen kann.
Aus der EP 0 722 601 Bl ist zu entnehmen, dass die Vorrichtung zur Posebestimmung der Kamera in das handgehaltene Gerät zu integrieren ist und sich entweder auf die Messung des Erdmagnetfeldes oder auf eingebaute Gyrosensoren stützen soll. Die Magnetfeldmessung ist aber im vollständig metallischen Schiffsrumpf praktisch nicht möglich. Gyroskope oder Inertialsensoren erlauben nur relative Drehbestimmung und driften über die Zeit, sind somit nicht einsetzbar. Allein ein hochgenauer Kreiselkompass könnte dieses verhindern, ist aber im handgeführten AR-Fernglas nicht einbaubar.
Eine Alternative offenbart beispielsweise die Druckschrift DE 10 2005 045 973 Al, die sich ebenfalls mit der Ermittlung von Kameraposen und -positionen für Augmented Reality
Anwendungen befasst. Es wird vorgeschlagen, Objektpunkte der Umgebung mit einer zusätzlichen Kamera, die mit der beweglichen AR- Systemkomponente (also hier mit dem
AR-Fernglas) starr verbunden ist, zu erfassen. Diese zusätzliche Kamera soll i. F. als
Tracking-Kamera bezeichnet werden. Die Bewegungen der Objektpunkte im von der Tracking-Kamera aufgezeichneten Bild während einer Translation oder Rotation der beweglichen AR-Systemkomponente können verfolgt („tracking") und zur Bestimmung der - A -
Position und Pose in Echtzeit ausgewertet werden. Typisch ist auch die Installation von Markerobjekten an vorbekannten Positionen im Arbeitsbereich des AR-Systems (z.B. Industriehalle), die von allen Positionen der Tracking-Kamera aus möglichst gut sichtbar sind, um diese Auswertung zu vereinfachen.
Besonders vorteilhaft ist das Ausbilden der Tracking-Kamera als sphärische oder halbsphärische Kamera, d.h. mit einem oder zwei Fischaugen-Objektiven zur Abbildung einer ca. 180° oder 360° Umgebung, wie die DE 10 2004 017 730 B4 lehrt. Verbindet man nämlich die bewegliche AR-Systemkomponente außer mit der Tracking-Kamera auch noch starr mit einem 3DOF-Rotationssensor, so ist es hiernach möglich, das von der Tracking- Kamera aufgezeichnete, sphärische Bild zeitlich Schritt haltend mit der Bewegung gegen die Rotation zu kompensieren, d.h. das sphärische Bild erscheint auf einem Monitor invariant gegenüber Verdrehungen der AR-Systemkomponente. Das rotationskompensierte Bild enthält nur noch Informationen über die Translation und kann separat ausgewertet werden, was in praktischen Anwendungen eine wesentliche Vereinfachung darstellt.
Für die Aufgabe, ein AR-Fernglas zum Einsatz auf einer Schiffsbrücke zu realisieren, reichen die vorgenannten Ansätze nicht aus.
Die erste Herausforderung liegt in der zu erreichenden Genauigkeit der Posebestimmung. Durch die Vergrößerung der Darstellung, wie sie für ein Fernglas charakteristisch ist, muss eine sehr viel höhere Genauigkeit als bei anderen Anwendungen erreicht werden, um trotzdem eine pixelgenaue Augmentierung gewährleisten zu können.
Das zweite Problem in der Umsetzung einer Tracking-basierten Posebestimmung liegt darin, dass geeignete Tracking-Objekte, mithin also Marker, zweifellos im Nahbereich des AR- Fernglases, also auf der Schiffsbrücke, anzubringen sind, diese sich dann jedoch infolge des Seegangs in unvorhersehbarer Weise gegenüber dem interessierenden Koordinatensystem bewegen werden, in dem die Posebestimmung des AR-Fernglases letztlich erfolgen muss. Es ist deshalb die Aufgabe der Erfindung, eine Vorrichtung zur Augmentierung des Bildes eines in der Hand gehaltenen Fernglases aus der Sicht einer Schiffsbrücke mit Informationen aus elektronischen Seekarten anzugeben sowie ein Verfahren zum Betreiben dieser Vorrichtung, das eine ausreichend genaue Posebestimmung des Fernglases erlaubt.
Die Aufgabe wird gelöst durch eine Vorrichtung mit den Merkmalen des Anspruchs 1. Ein Nebenanspruch ist auf ein Verfahren zum Betreiben dieser Vorrichtung gerichtet. Die Unteransprüche geben vorteilhafte Ausgestaltungen an.
Die erfindungsgemäße Vorrichtung umfasst eine perspektivische elektronische Kamera (Augmentierungskamera) mit einem Teleobjektiv (oder einem Zoomobjektiv) zur Aufnahme des Sichtfeldes des Benutzers, eine sphärische Kamera (Tracking-Kamera) zur Aufnahme von Markern in der lokalen Umgebung sowie einen Sensor zur Messung der Schwerkraftrichtung (künstlicher Horizont) und ein Display zur Darstellung der Augmentierung (i. F. wird die mobile Komponente des Gesamtsystems nur noch kurz AR-Fernglas genannt).
Die erfindungsgemäße Vorrichtung umfasst weiterhin einen Rechner, z.B. einen PC, der aber nicht notwendig in das AR-Fernglas integriert ist. Der Rechner soll bevorzugt Informationen von den Navigationseinrichtungen des Schiffes (Position, Heading) erhalten und soll mit diesen eine Datenverbindung aufweisen. Der Rechner hält überdies elektronische Seekarten gespeichert vor und hat insbesondere Zugriff auf Positionen sichtbarer Objekte (Landmarken, Bojen etc.). Der Rechner muss mit dem AR-Fernglas Daten austauschen können. Dies kann nach dem Stand der Technik kabelgebunden, vorzugsweise aber auch kabellos erfolgen.
Die letzte und sehr bedeutende Komponente der erfindungsgemäßen Vorrichtung ist eine Anordnung von wenigstens zwei Markern, die fest im Innern der Schiffsbrücke installiert sind. Die genauen Positionen dieser Marker sind - im Unterschied zum Stand der Technik der Bildrekonstruktion - eher unwichtig, aber sie müssen durch ihre relative Lage zueinander eine definierte Richtung relativ zum Schiff anzuzeigen. Vorzugsweise werden die Marker in einer Linie entlang dieser einmal gewählten Richtung angeordnet. Es ist besonders vorteilhaft, aber nicht notwendig, wenn die Marker entlang der Längsachse des Schiffes installiert werden, also die Heading-Richtung anzeigen.
Es versteht sich, dass die erfindungsgemäße Vorrichtung nicht zwangsweise als in sich geschlossene Einheit ausgebildet sein muss. Vielmehr kann die erfindungsgemäße Vorrichtung als Anordnung von einzelnen Vorrichtungen/Einrichtungen bzw. als aus einzelnen Vorrichtungen/Einrichtungen bestehendes System ausgebildet sein.
Damit die Tracking-Kamera die Marker von möglichst vielen Positionen auf der Schiffsbrücke möglichst gut ausmachen kann, sollten die Marker bevorzugt an der Decke der Brücke etwa mittig angebracht werden.
Alle Marker sind in einer Ebene anzuordnen. Vorzugsweise liegt diese Ebene stets senkrecht zur Richtung des Schwerefeldes. Da dies aber auf einem fahrenden Schiff nicht zu gewährleisten ist, ist es eine besonders vorteilhafte Ausgestaltung, einen zweiten Schwerefeldsensor in der Nähe der Markeranordnung fest zu installieren. Die Aufgabe des zweiten Schweresensors besteht darin, eine etwaige Neigung der Markerebene gegen die - ideal gewünschte - Ebene senkrecht zur Schwerkraftrichtung zu messen und, z.B. in Form der Verdrehungswinkel bezüglich des Schwerefeldes, fortlaufend dem Rechner bereitzustellen.
Um Missverständnissen vorzubeugen, soll klargestellt werden, dass unter einem Marker im Sinne dieser Erfindung ein Objekt verstanden werden soll, welches nur einen Punkt im Raum indiziert. Für eine Richtungsangabe sind folglich wenigstens zwei Marker vorzusehen. Ein Schild mit einem aufgedruckten Pfeil etwa, welches für die Umsetzung der Erfindung gleichfalls brauchbar wäre, indiziert wenigstens zwei Pfeilendpunkte und wird im Sinne dieser Erfindung ebenfalls als Anordnung wenigstens zweier Marker aufgefasst.
Die perspektivische Kamera indiziert die aktuelle Blickrichtung, während die Tracking- Kamera als halbsphärische Kamera um 90 Grad dazu verschwenkt mit der Blickrichtung nach oben montiert ist. Das Display ist in Anlehnung an ein übliches Fernglas als ein binokulares Display ausgebildet. Die nachfolgenden Abbildungen dienen der Erläuterung des Verfahrens, mit dem die vorgenannte Vorrichtung Schritt haltend in der Lage ist, pixelgenau Zusatzinformationen in das von der perspektivischen Kamera aufgenommene Bild einzublenden. Dabei zeigt:
Fig. 1 eine Skizze der Horizontebene (Tangentialfläche an die Erdkugel), die das für die
Augmentierung interessierende, kartesische Koordinatensystem (Horizontsystem) definiert;
Fig. 2 eine Skizze der möglichen Verdrehungen des AR-Fernglases gegenüber dem Horizontsystem;
Fig. 3 eine Skizze der Abbildungseigenschaft eines sphärischen Objektivs (Fischauge);
Fig. 4 eine Skizze der erfindungsgemäßen Vorrichtung mit einer exemplarischen Markeranordnung .
Den Anfang des Verfahrens bildet die Klarstellung der beteiligten Koordinatensysteme.
Die Position des Schiffes und damit der Schiffsbrücke ist durch die Navigationssysteme bekannt ebenso wie sein aktueller Kurs. Diese Angaben liegen als Längen und Breiten sowie als Winkel gegen die geographische bzw. magnetische Nordrichtung vor. Navigationsinstrumente wie auch die elektronische Seekarte müssen sich auf dieselbe Geoid- Definition der Erde stützen, die heute gängig durch WGS84 beschrieben wird. In einer lokalen Umgebung um irgendeine Position kann ein kartesisches Koordinatensystem durch die Richtung des Schwerefeldes und eine hierzu senkrechte Tangentialebene (Horizontebene, vgl. Fig. 1) aufgespannt werden, in dem sich die Positionen aller umgebenden Objekte nach an sich bekannten Transformationen auch kartesisch sehr genau darstellen lassen.
Das kartesische Horizontsystem (i. F. kurz: H) wird man schon für Zwecke der Abstandsbestimmung verwenden wollen. Sein Ursprung liege o. B. d. A. auf der Schiffsbrücke, und während z.B. die z- Achse durch das lokale Schwerefeld festliegt, können sich x- und y-Achse um die z-Achse drehen allein infolge einer Kursänderung des Schiffes. Gleichwohl soll das Horizontsystem nicht als fest mit dem Schiffsrumpf verbunden gelten, denn Roll- und Stampfbewegungen des Schiffskörpers sollen das Horizontsystem nicht verändern. Sie verändern allerdings gleichwohl die absoluten Positionen der Marker auf der Brücke im Horizontsystem.
Das zweite relevante Koordinatensystem ist das der Kamera (i. F. kurz: K). Es ist ebenfalls kartesisch (x',y',z'), starr mit der Kamera verbunden und vorzugsweise so definiert, dass eine seiner Achsen (z.B. die y'-Achse) mit der optischen Achse der Augmentierungskamera, also der Hauptblickrichtung, zusammenfällt. Die lichtsensitiven Pixel der Kamera liegen in der Bildebene, die hier in der (x',z')-Ebene liegen soll. Schließlich existiert noch als weitere Bildebene die der Tracking-Kamera, die parallel zur (x',y')-Ebene der Kamera angeordnet ist. In dieser Ebene liegen insbesondere Pixelkoordinaten (px-, py ) vor.
Für die Zielsetzung eines AR-Fernglases sind einige vereinfachende Annahmen erlaubt.
So ist zum einen die lokale Position des AR-Fernglases auf der Schiffsbrücke nicht genau bekannt, da der Benutzer sich bewegen kann. In einem herkömmlichen AR- Verfahren müsste diese Position an sich aufwendig berechnet werden. Aus der Entfernung der zu augmentierenden Objekte, die zwischen etwa einigen 100 m bis ungefähr 10 km vom Betrachter aus beträgt, ergibt sich hier jedoch, dass sowohl die verbleibende Unscharfe der Bestimmung der Schiffsposition (z.B. via GPS) als auch die unscharfe Festlegung der Position des AR-Fernglases „irgendwo auf der Brücke" im praktischen Betrieb keinen Einfluss auf die Genauigkeit der Augmentierung hat. Die lokale Translation des AR- Fernglases bezüglich der Brückenposition wird daher vernachlässigt. Dies impliziert, dass den Koordinatensystemen H und K ein gemeinsamer Ursprung unterstellt werden kann und insofern nur die Verdrehung der beiden zueinander zu bestimmen ist.
Zum anderen sind in das Koordinatensystem H die in der elektronischen Seekarte verzeichneten, real sichtbaren Objekte einzutragen. Die Koordinatentransformation wird mit wachsendem Abstand der Objekte zum Schiff fehlerhafter, da man natürlich der Erdkrümmung nicht Rechnung trägt. Der Fehler ist jedoch für die Zwecke der Augmentierung hinreichend klein, sofern man sich auf Objekte aus einem Umkreis von bis zu 15 km um die aktuelle Position beschränkt (Gloeckler, Joy, Simpson, Specht, Ackeret, „Handbook for Transformation of Datums, Projections, Grids and Common Coordinate Systems", ARMY TOPOGRAPHIC ENGINEERING CENTER ALEXANDRIA VA, 1996).
Das AR-Fernglas weist ein vergrößerndes Objektiv für die perspektivische Kamera auf. Beispielhaft wird ein Teleobjektiv mit Vergrößerungsfaktor 7 benutzt, was der Vergrößerung nautischer Ferngläser entspricht. Im Prinzip kommt auch ein Zoomobjektiv, also eines mit variabler Vergrößerung, in Frage. Jedoch muss der Vergrößerungsfaktor der Recheneinheit bekannt sein, d.h. bei einer Änderung der Vergrößerung ist diese dann zu messen und der Recheneinheit zu übermitteln.
Aus der Vergrößerung der Objekte ergibt sich auch eine erhöhte Anforderung an die Genauigkeit der Winkelmessung. Denn bei einer perspektivischen Kamera mit einer Auflösung von 640x480 Pixel bei einem Öffnungswinkel von 10x7 Grad bilden 60 Pixel gerade mal 1 Grad der Umgebung ab. Soll die Einblendung der Zusatzinformationen pixelgenau im Realbild erfolgen, muss die Bestimmung aller Winkel mit einer Präzision besser als 0.016 Grad möglich sein.
Drei Rotationswinkel der Kamera (System K) gegen das Koordinatensystem H sind zu bestimmen: Die Drehung um die vertikale Achse (z) wird dabei mit α (Azimutwinkel), die um die Achse der Blickrichtung wird mit p (Rollwinkel) und die Rotation um die horizontale Querachse - senkrecht zur Blickrichtung - mit v (Nickwinkel) bezeichnet. Figur 2 zeigt diese Winkel, wobei im Hintergrund die Horizontebene ((x, y)-Ebene in H) angedeutet wird.
In praktischen Anwendungen wird man keine pixelgenaue Augmentierung benötigen, aber gleichwohl ist eine sehr genaue Winkelbestimmung unvermeidbar, die vor allem in Echtzeit realisierbar sein muss. Um dies zu gewährleisten, ist in dem AR-Femglas ein Schwerefeldsensor eingebaut. Dieser misst die Komponente der maximalen Beschleunigung in Richtung des Erdmittelpunktes. Zwei der Rotationswinkel gegenüber H können so problemlos und schnell ermittelt werden. Die Ausgabe des Schwerefeldsensors wird man vorzugsweise so einrichten, dass sie direkt im Koordinatensystem K erfolgt, das sich mit der Kamera bewegt. Da man ja weiß, dass die Richtung des Schwerefeldvektors mit der z-Richtung von H übereinstimmt, geben x'- und y'- Komponenten des Schwerefeldvektors unmittelbar den Roll- und Nickwinkel der Kamera bezüglich H an.
(1) p = Aresin (gx Vg) und v = Aresin (gy</g)
Es lässt sich auch sofort eine 3x3 -Drehmatrix R angeben, die die Verdrehung des Kamerakoordinatensystems K gegenüber der Richtung des Schwerefeldes beschreibt:
Figure imgf000012_0001
In den Gleichungen (1) und (2) sind mit gx>, gy- und gz- die Komponenten des gemessenen SScchhwweerreeffeellddvveekkttoorrss iimm SSyysstteemm KK bbeezzeeiicchhnneet, und es werden Abkürzungen gp2 = gx 2 + gy 2 sowie der Betrag g = sqrt(gP 2 + gz>2) benutzt.
Die Rohdaten des Schwerefeldsensors sind üblich verrauscht und auch anfällig gegen ruckartige Bewegungen. Allerdings erzeugt der Sensor 100 Messungen pro Sekunde bei kurzer Messverzögerung, während die Kamera mit einer Wiederholrate von nur 25 Bildern pro Sekunde arbeitet, aber eine längere Messverzögerung (Delay) aufweist. Daher kann die höhere Messrate des Sensors zeitlich gefiltert werden, um die Messung zu stabilisieren und die Genauigkeit zu erhöhen. Die Sensormessungen werden zeitlich mit einem Filter mit Gauß-Fensterfunktion so gefiltert, dass der Erwartungswert der Sensormessungen mit der Bildaufnahme unter Berücksichtigung des Delays synchronisiert wird. Das Gauß-Fenster wird zeitlich asymmetrisch so gelegt, dass die systembedingten unterschiedlichen Zeitverzögerungen bei Bild- und Sensorerfassung berücksichtigt werden und keine Laufzeitverzögerung bei der Messung auftritt.
Damit können zwei Winkel sehr akkurat gemessen werden. Der dritte wird mit Hilfe der Tracking-Kamera bestimmt, die die ausgerichtete Marker- Anordnung abbildet.
Es hat sich als vorteilhaft erwiesen, die Marker in einer Linie entlang der Heading-Richtung des Schiffes anzuordnen. Dabei ist eine asymmetrische Anordnung vorteilhaft, um Bug- und Heckrichtung zu unterscheiden. Konkret werden hier 7 Markerpunkte benutzt, die in zwei Gruppen zu 3 oder 4 Markern entlang der Heading-Richtung platziert werden. Es sei aber wohl verstanden, dass jede Anordnung von Markern, die die Identifizierung der Heading- Richtung erlaubt, für die Zwecke der Erfindung möglich ist.
Wie eingangs erwähnt, haben alle Marker in einer Ebene zu liegen, bevorzugt sind alle an der Decke der Schiffsbrücke installiert. Es ist sehr vorteilhaft, aber nicht unbedingt erforderlich, einen zweiten Schwerefeldsensor in der Markerebene vorzusehen, der die Neigung dieser Markerebene gegenüber der (x, y)-Ebene des Horizontsystems H fortlaufend misst und an den Rechner übermittelt.
Da das System sowohl robust gegen die Bewegungen des Schiffpersonals als auch gegen Lichtveränderungen sein muss, ist es vorteilhaft, als Marker Infrarot-LEDs in Verbindung mit einem Infrarot-Passfilter in der Tracking-Kamera zu verwenden. Damit kann die Tracking- Kamera - außer bei starker Sonneneinstrahlung - das Tageslicht ausblenden, und durch die selbststrahlenden LEDs sind die Marker auch bei Nacht gut zu detektieren. Durch Anbringen der Marker an der Schiffsdecke kann zudem eine Behinderung des Personals wie auch des AR-Fernglas-Benutzers ausgeschlossen werden. Der verbliebene Azimutwinkel α, um den die Kamera gegenüber der Heading-Richtung des Schiffes (y-Achse von H) verdreht ist, wird durch fortlaufende Verarbeitung der Bilder der sphärischen Tracking-Kamera bestimmt.
Die Bildverarbeitung sucht zunächst nach möglichen Punktkorrespondenzen im Bild. Diese können die Anzahl der tatsächlichen Marker übertreffen, weshalb eine robuste Ausreißer- Erkennung erforderlich ist. Da die Geometrie des Markers bekannt ist, kann der Suchalgorithmus mit dieser Kenntnis optimiert werden. Beispielsweise werden für die lineare Markeranordnung Ausreißer durch Permutation der Kandidaten und Approximation einer Geraden erkannt. Dieser Teilschritt der Identifikation eines Satzes von Pixelkoordinaten p(l) in der Bildebene der Tracking-Kamera, basierend auf dem projektiven Doppelverhältnis von Punkten auf einer Geraden, die mit den Markern in der realen Szene korrespondieren, ist dem Fachmann geläufig und soll hier nicht näher erläutert werden.
Der insofern gemessene Satz von Pixelkoordinaten wird vorzugsweise aufbereitet. Typisch erforderlich ist eine Fleckverkleinerung. Die verwendeten LEDs weisen eine charakteristische Verflachung der Linsen auf, wodurch ein größerer Ausstrahlwinkel erreicht wird. Damit sind die LEDs in der Bildaufnahme besser zu detektieren, als LEDs mit kleineren Ausstrahlwinkeln. Hinzu kommt, dass die LEDs immer als kreisförmige Korrespondenzen angenommen werden können, wo hingegen kleine Ausstrahlwinkel zu elliptischen Korrespondenzen führen können. Bei einem Abstand zur Decke von 1 m bis 2 m sind die LEDs mit ungefähr 15 Pixel großen Korrespondenzen zu detektieren. Für weitere Berechnungen ist dies zu ungenau. Man ermittelt stattdessen den Mittelpunkt des Markerabbildes sogar mit Subpixelgenauigkeit durch geeignetes Template Matching mit einer abgeflachten 2D-Gausstemplate-Filtermaske und verwendet die optimierten Pixelkoordinaten für das Weitere.
Durch die sphärische Projektion des Fischauges werden Objektpunkte auf einer Halbkugel
(o. B. d. A. mit Radius Eins) um das Kamerazentrum auf eine Kreisscheibe in der Pixelebene abgebildet. Die natürlichen Koordinaten des Bildes sind dann ebene Polarkoordinaten (r, φ).
Die optische Achse der Kamera verläuft senkrecht zur Pixelebene durch einen zentralen Pixel mit Koordinaten (XH, yH) (Kamera-Hauptpunkt). Jeder Objektpunkt auf der Halbkugel erscheint unter einem Winkel θ zur optischen Achse (z'-Achse von K) und ist zudem durch seine Azimutposition φ (φ = 0 entlang der positiven x' -Achse von K) gekennzeichnet.
Die Besonderheit der Fischaugen-Projektion besteht darin, dass der Winkel θ im idealen Fall linear auf den Radius der Kreisscheibe abgebildet wird. Dies ist in Praxis für kleine Winkel sehr gut erfüllt, aber für θ — » 90° wird die Abbildung typisch nicht-linear. Fig. 3 zeigt exemplarisch die Kalibrierfunktion k(&), die den jeweiligen Umrechnungsfaktor von Winkel (z.B. Radian) auf Pixelkoordinaten angibt und für jedes Objektiv einmal zu bestimmen ist.
Das sphärische Bild kann wegen der oben genannten Linearität durch die Polarkoordinaten (θ, φ) beschrieben werden. Lässt man die Problematik diskreter Pixel außer acht, da die Pixelkorrespondenzen ja mit Subpixelgenauigkeit bestimmt werden, so besitzt ein Objektpunkt auf der Halbkugel bei den Koordinaten (θ, φ) in der Pixelebene die Pixelkoordinaten:
(3) px, = xH + k(3) * 3 cos(#>) und py. = yH + k(3) * 3 sin(<p)
Es ist praktisch und in der 3D-Bildverarbeitung gängig, die Pixelkoordinaten in die dritte Dimension zu erheben. Der Pixelkoordinatenvektor des i-ten Markers in K sei
Figure imgf000015_0001
und wegen (3) gilt dann
Figure imgf000015_0002
Hierbei kennzeichnet * die Matrixmultiplikation. Durch Multiplikation mit der Matrix
(6) A" =
Figure imgf000016_0001
gelangt man schließlich zur Normdarstellung der Markerkoordinaten in sphärischen Polarkoordinaten (oder auch Kugelkoordinaten) über der Bildebene der Tracking-Kamera. Diese Normdarstellung enthält die wahren Winkel, unter Beseitigung des sphärischen Objektivs und seiner Verzerrungen, welche Verbindungsstrahlen vom Kamerazentrum in der Bildebene zu den einzelnen Markern mit den Achsen des Koordinatensystems K bei seiner aktuellen Pose einschließen. Multipliziert man nun weiter mit der zuvor bestimmten Matrix R aus Gleichung (2), so berechnet man die Normkoordinaten im Koordinatensystem K' (Achsen x", y", z"), dessen z" -Achse parallel zur z- Achse von H, also zur Richtung der Schwerkraft liegt.
Figure imgf000016_0002
Bei Verwendung einer strikt linearen Markeranordnung, was eine besonders bevorzugte Ausgestaltung der Erfindung ist, weiß man, dass alle vorgenannten Verbindungsstrahlen in einer Ebene liegen, die die Marker und das Kamerazentrum enthält. Anhand der berechneten Markerdarstellungen in K' gemäß Gleichung (7) kann mit den bekannten Methoden der linearen Algebra nun die zugehörige Ebenengleichung aufgestellt werden - wofür natürlich im Prinzip nur zwei Markerpunkte erforderlich sind.
Schließlich wird die Schnittgerade dieser berechneten Ebene mit der Ebene z"=l (oder irgendeiner anderen beliebigen Ebene senkrecht zur z" -Achse, d.h. parallel zur (x, y)-Ebene des Horizontkoordinatensystems H) berechnet, und deren Richtungsvektor weist genau in Heading-Richtung des Schiffes. Aus den Koordinaten des Heading-Vektors im Koordinatensystem K' kann der Azimutwinkel α unmittelbar abgelesen werden. Aus der vollständigen Kenntnis der Verdrehung der Kamera K gegenüber dem Horizontsystem H ist die Bildaugmentierung des AR-Fernglases nun im Rahmen des Standes der Technik möglich. In einem experimentellen Labormuster, das die hier beschriebene Vorrichtung realisiert, werden die drei Drehwinkel 25 Mal pro Sekunde mit einer Genauigkeit von 0,025 Grad (Roll- und Nickwinkel) bzw. von 0,03 Grad (Azimutwinkel) bestimmt. Dies entspricht einer Pixelgenauigkeit von 3-4 Pixeln bei der Augmentierung, was für die meisten Zwecke ausreichend ist.
In Fig. 4 ist ein Teil der erfindungsgemäßen Vorrichtung schematisch dargestellt, um die bevorzugte geometrische Anordnung zu verdeutlichen. Die handgehaltene Komponente der Vorrichtung umfasst die elektronische Kamera 10 mit perspektivischem, vergrößerndem Objektiv 12, einem starr verbundenen Schwerkraftsensor 14 und ein binokulares Display 16, in dem Realbilder mit Augmentierungsdaten überblendet dargestellt werden. Ebenfalls starr mit der Kamera 10 ist die sphärische Tracking-Kamera 18 verbunden, die nach oben sieht. Die - hier lineare - Markeranordnung 20 ist an der Decke eines Raumes (angedeutet durch den umgebenden Quader) fest installiert, d.h. sie bewegt sich bei einer Drehung des Raumes (z.B. beim Kurswechsel des Schiffes). Vorzugsweise beträgt der Abstand zwischen Tracking- Kamera und Markeranordnung 0,5 bis 2 Meter, wobei die Längenausdehnung der Markeranordnung bevorzugt zwischen 1,5 und 2,5 Meter betragen soll.
Die Erfindung zielt ab auf die Vorrichtung und ein mit dieser durchführbares Verfahren, die Drehwinkel schnell und genau bereitzustellen, wobei die Schwierigkeit a priori darin besteht, dass das Horizontsystem H, in dem die Bildaugmentierung letztlich vorzunehmen ist, nicht starr mit dem Schiffsrumpf verbunden ist. Ein auf Marker-Tracking basierender Ansatz liegt deshalb nicht auf der Hand, da eine fortlaufende Bewegung der Marker bezüglich H infolge Seegangs zu unterstellen ist. Zudem versagt eine rein markerbasierte Tracking-Lösung über Bildverarbeitung durch Marker im Nahbereich der Brücke, da durch die Kopplung von Rotation und Translation im Nahbereich Korrelationen entstehen, welche eine hochgenaue Rotationsbestimmung verhindern. Durch die hybride Kopplung von Schweresensor und eindimensionaler bildbasierter Headingbestimmung kann dieses Problem gelöst werden. Die erfindungsgemäß bevorzugte Markeranordnung ist linear und entlang der Längsachse des Schiffes ausgerichtet. Sie wird vorteilhaft an der Decke der Schiffsbrüche installiert. Offenbar hat eine Rollbewegung des Schiffes dann keine Auswirkungen auf korrekte Richtungsweisung durch die Marker.
Wenn das Schiff hingegen starke Stampfbewegungen vollführt, liegen die Marker nicht mehr in einer Ebene parallel zur (x, y)-Ebene von H. Dies führt zu Missweisungen, wie man sich folgendermaßen veranschaulicht. Stünde man auf der Schiffsbrücke mit Blick entlang der Schwerkraftrichtung zur Decke gerichtet, wo zwei parallel verlaufende Markeranordnungen installiert sind, so hätte man bei einer Neigung der Decke den optischen Eindruck, beide Linien würden aufeinander zu laufen. Die Tracking-Kamera kann deshalb die korrekte Heading-Richtung aus einer einzelnen, linearen Markeranordnung nur sicher erkennen, wenn sie sich direkt unter dieser Markeranordnung befindet. Dieser Sonderfall kann jedoch für praktische Anwendungen nicht vorausgesetzt werden.
Die Missweisung kann aber korrigiert werden, wenn man die Neigung der Markerebene fortlaufend bestimmt. Diese Neigung ist mit Hilfe der Tracking-Kamera allein ermittelbar, wenn man anstelle einer linearen eine zweidimensionale Markeranordnung verwendet, so dass sich perspektivische Verzerrungen aus der Kenntnis der wahren Geometrie der Marker erkennen lassen. Für das Beispiel der beiden parallel verlaufenden linearen Markeranordnungen wie oben beschrieben (jetzt aufgefasst als eine einzige zweidimensionale Anordnung) kann man etwa den Winkel zwischen den in die Bildebene der Kamera abgebildeten Linien bestimmen und hieraus auf die Neigung der Markerebene schließen. Allerdings sind solche Berechnungen womöglich zu ungenau, da die Winkel üblich recht klein sind.
Einen einfacheren Ausweg bietet hier die fortlaufende Messung der Neigung der Markerebene mit einem zweiten Schwerefeldsensor, der z.B. konkret einfach neben den Markern an der Decke der Schiffsbrücke fest angeordnet wird und sich folglich mit der Markerebene neigt. Es kann erforderlich sein, diesen einmalig zu kalibrieren in Bezug auf die tatsächliche Neigung der installierten Markerebene im ruhenden Schiff.
Man kann schließlich bei Kenntnis des Neigungswinkels der Markerebene wie oben beschrieben eine von Verbindungsstrahlen zum Kamerazentrum aufgespannte Ebene, deren
Gleichung mittels einer Auswahl aus den zur Verfügung stehenden Markerkoordinaten berechenbar ist, mit einer parallel zur Markerebene geneigten Ebene schneiden lassen. Der
Richtungsvektor der Schnittgerade hat dann eine von Null verschiedene z" -Komponente, die man aber ignorieren kann, denn die wahre Heading-Richtung ist allein aus x"- und y"- Komponente dieses Richtungsvektors abzulesen.

Claims

ANSPRÜCHE
Vorrichtung zur Augmentierung eines elektronischen Abbildes einer realen Szene mit
Augmentierungsinformationen umfassend eine perspektivische elektronische Kamera, ein Display zur Wiedergabe des Abbildes der realen Szene, eine Einrichtung zur Bestimmung der Position der perspektivischen Kamera in einem globalen Koordinatensystem, eine Einrichtung zur kontinuierlichen Bestimmung der Verdrehung der perspektivischen Kamera bezüglich des globalen Koordinatensystems, eine Datenspeichereinheit enthaltend die Augmentierungsinformationen bezüglich des globalen Koordinatensystems, eine Recheneinheit ausgebildet zur Kommunikation mit der Datenspeichereinheit und den Einrichtungen zur Positions- und Verdrehungsbestimmung sowie mit der perspektivischen Kamera und dem Display, wobei die Recheneinheit dem Display Anweisungen zur Darstellung der
Augmentierungsinformationen derart erteilt, dass diese Informationen sichtbaren Objekten im Abbild der realen Szene zugeordnet sind,
dadurch gekennzeichnet, dass
die Einrichtung zur Bestimmung der Verdrehung der perspektivischen Kamera folgende Komponenten umfasst a. einen Sensor zur Messung der Schwerkraftrichtung in starrer Verbindung mit der perspektivischen Kamera, b. eine sphärische Kamera in starrer Verbindung mit der perspektivischen
Kamera, wobei die Bildebenen der Kameras senkrecht aufeinander stehen, c. eine Markeranordnung umfassend wenigstens zwei Marker angeordnet in einer bezüglich des globalen Koordinatensystems verdrehbaren Markerebene derart, dass alle Marker im Sichtfeld der sphärischen Kamera liegen, wobei die Anordnung der Marker eine fest gewählte Richtung in der Markerebene indiziert, d. eine Einrichtung zur fortlaufenden Messung der Verdrehung der in der Markerebene indizierten Richtung gegenüber einer senkrecht zur Schwerkraftrichtung verlaufenden Achsenrichtung des globalen Koordinatensystems.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein zweiter Sensor zur
Messung der Schwerkraftrichtung starr mit der Markerebene verbunden vorgesehen ist, der die Neigung der Markerebene gegen das Schwerefeld fortlaufend misst und der Recheneinheit übermittelt.
3. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Markeranordnung als eine einzelne Linie von Markern ausgebildet ist.
4. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die perspektivische Kamera ein Teleobjektiv aufweist und das Display ein binokulares Display ist, wobei beide miteinander starr verbunden und zusammen als mobiles Gerät nach Art eines Fernglases ausgebildet sind.
5. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Marker an der Decke einer Schiffsbrücke angeordnet sind, so dass diese die Markerebene bildet.
6. Vorrichtung nach den Ansprüchen 3 und 5, dadurch gekennzeichnet, dass die einzelne Linie von Markern entlang der Schifflängsachse ausgerichtet ist.
7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Einrichtung zur fortlaufenden Messung der Verdrehung der in der Markerebene indizierten Richtung gegenüber einer senkrecht zur Schwerkraftrichtung verlaufenden Achsenrichtung des globalen Koordinatensystems der Schiffskompass ist, der den Schiffskurs fortlaufend der Recheneinheit übermittelt.
8. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Marker als Leuchtdioden mit großem Abstrahlwinkel ausgebildet sind.
9. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Marker als Infrarotlicht emittierende Leuchtdioden ausgebildet sind und die sphärische Kamera einen Infrarotlicht durchlassenden Spektralfilter aufweist, der sichtbares Licht unterdrückt.
10. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Abstand zwischen Markeranordnung und sphärischer Kamera zwischen 0,5 und 2 Meter beträgt, wobei die Längenausdehnung der Markeranordnung zwischen 1,5 und 2,5 Meter beträgt.
11. Verfahren zur Augmentierung eines mit einer elektronischen perspektivischen Kamera aufgenommenen Abbildes einer realen Szene mit Augmentierungsinformationen durch Wiedergabe des Abbildes der realen Szene in einem Display und Einblenden der Augmentierungsinformationen in das Display derart, dass eine Zuordnung zu sichtbaren Objekten in der Szene erfolgt, wobei die Augmentierungsinformationen in Bezug auf ein globales Koordinatensystem H vorbekannt sind und eine Bestimmung der Position und der Verdrehung der Kamera in Bezug auf das globale Koordinatensystem H fortlaufend erfolgen,
gekennzeichnet durch fortlaufende Messung der Verdrehung der Kamera mit folgenden Schritten:
a. Vorsehen einer Markeranordnung mit vorgegebener Geometrie in einer gegenüber dem globalen Koordinatensystem verdrehbaren Markerebene, wobei die Markeranordnung eine feste Richtung in der Markerebene indiziert, b. Bestimmen der Verdrehung der in der Markerebene indizierten Richtung gegen eine senkrecht zur Schwerkraftrichtung verlaufende Achse des globalen Koordinatensystems H, c. Abbilden der Markeranordnung mit einer sphärischen Kamera, deren
Bildebene senkrecht auf der Bildebene der perspektivischen Kamera steht, d. Identifizieren eines Satzes von die Marker repräsentierenden Pixelkoordinaten in der Bildebene der sphärischen Kamera, e. Messen der Schwerkraftrichtung in einem mit der perspektivischen Kamera mitbewegten Koordinatensystem K, f. Erstellen einer Drehmatrix, die die Verdrehung von K gegen die Schwerkraftrichtung beschreibt, g. Erzeugen eines zweiten, dreidimensionalen, die Marker repräsentierenden Koordinatensatzes der Marker aus dem Satz der Pixelkoordinaten unter Elimination der Verzerrung der sphärischen Kamera und unter Kompensation der Verdrehung von K gegen die Schwerkraftrichtung mit einer linearen
Transformation, h. Bestimmen einer Ebene verlaufend durch wenigstens zwei Marker und das
Zentrum der sphärischen Kamera, i. Bestimmen einer Schnittgeraden der zuvor bestimmten Ebene mit einer zur
Markerebene parallel verlaufenden Ebene, j. Berechnen der Verdrehung von K gegen die durch die Markeranordnung in der
Markerebene indizierte Richtung aus der Richtung der zuvor bestimmten
Schnittgeraden, k. Berechnen der Verdrehung der Kamera um die Achse der Schwerkraftrichtung gegen die in Schritt b. gewählte Achse des globalen Koordinatensystems.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Verfahrensschritte c. bis k. wenigstens 25 Mal pro Sekunde wiederholt werden.
13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Messung der Schwerkraftrichtung mit einer Taktfrequenz größer als 25 Hz erfolgt und dass die Einzelmesswerte zeitlich mit einer Gauß-Fensterfunktion so gefiltert werden, dass der Erwartungswert der Schwerkraftmessungen mit der Bildaufnahme synchronisiert wird.
14. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bestimmung aller die Verdrehung des Koordinatensystems K bezüglich H beschreibenden Winkel mit einer Genauigkeit von < 0,03 Grad erfolgt.
PCT/DE2009/000663 2008-05-14 2009-05-14 Augmented reality fernglas zur navigationsunterstützung WO2009138069A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008023439A DE102008023439B4 (de) 2008-05-14 2008-05-14 Augmented Reality Fernglas zur Navigationsunterstützung
DE102008023439.7 2008-05-14

Publications (1)

Publication Number Publication Date
WO2009138069A1 true WO2009138069A1 (de) 2009-11-19

Family

ID=41057539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2009/000663 WO2009138069A1 (de) 2008-05-14 2009-05-14 Augmented reality fernglas zur navigationsunterstützung

Country Status (2)

Country Link
DE (1) DE102008023439B4 (de)
WO (1) WO2009138069A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012079107A3 (de) * 2010-12-15 2012-08-30 Mkw Electronics Gmbh Verfahren zum anzeigen einer einem tier zugeordneten information
WO2012126522A1 (en) * 2011-03-23 2012-09-27 Metaio Gmbh Method for registering at least one part of a first and second image using a collineation warping function
CN109118592A (zh) * 2018-08-28 2019-01-01 三盟科技股份有限公司 一种ar呈现的补偿效果实现方法及系统
CN109813277A (zh) * 2019-02-26 2019-05-28 北京中科慧眼科技有限公司 测距模型的构建方法、测距方法、装置以及自动驾驶系统
CN111750872A (zh) * 2020-06-17 2020-10-09 北京嘀嘀无限科技发展有限公司 信息交互方法、装置、电子设备和计算机可读存储介质
US10970883B2 (en) 2017-06-20 2021-04-06 Augmenti As Augmented reality system and method of displaying an augmented reality image
CN114442305A (zh) * 2020-11-02 2022-05-06 上海迈利船舶科技有限公司 一种视觉增强ais船舶望远镜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1157326B1 (de) * 1999-03-01 2002-10-02 BAE Systems Electronics Ltd. System zur verfolgung von kopfbewegungen
FR2879300A1 (fr) * 2004-12-10 2006-06-16 Vincent Piraud Appareil binoculaire permettant de fournir automatiquement des informations relatives a un panorama

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US6181302B1 (en) * 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
DE102004017730B4 (de) * 2004-04-10 2006-05-24 Christian-Albrechts-Universität Zu Kiel Verfahren zur Rotationskompensation sphärischer Bilder
DE102005045973A1 (de) * 2005-09-26 2007-04-05 Siemens Ag Vorrichtung, System und Verfahren für ein kamerabasiertes Tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1157326B1 (de) * 1999-03-01 2002-10-02 BAE Systems Electronics Ltd. System zur verfolgung von kopfbewegungen
FR2879300A1 (fr) * 2004-12-10 2006-06-16 Vincent Piraud Appareil binoculaire permettant de fournir automatiquement des informations relatives a un panorama

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Augmented Reality Fernglas. Echtheit-Positionsbestimmung mittels Feature-Detektion und Sensorfusion", INTERNET CITATION, 18 September 2009 (2009-09-18), pages 1 - 26, XP007909838, Retrieved from the Internet <URL:http://www.mip.informatik.uni-kiel.de/tiki-download_file.php?fileId=864> [retrieved on 20090918] *
HAASE K ET AL: "AR Binocular: Augmented Reality System for nautical navigation", BERICHT INSTITUT FÜR INFORMATIK. CHRISTIAN ALBRECHTS UNIVERSITÄT,, no. 801, 18 September 2009 (2009-09-18), pages 1 - 29, XP007909837 *
MINISTERIUM FÜR WISSENSCHAFT ET AL: "Netzwerke der Wissensgesellschaft", INTERNET CITATION, 30 September 2007 (2007-09-30), pages Complete, XP007909832, Retrieved from the Internet <URL:http://www.isnm.de/press/2007_Netzwerke_eRegion_Internet.pdf> [retrieved on 20090918] *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012079107A3 (de) * 2010-12-15 2012-08-30 Mkw Electronics Gmbh Verfahren zum anzeigen einer einem tier zugeordneten information
WO2012126522A1 (en) * 2011-03-23 2012-09-27 Metaio Gmbh Method for registering at least one part of a first and second image using a collineation warping function
US9213908B2 (en) 2011-03-23 2015-12-15 Metaio Gmbh Method for registering at least one part of a first and second image using a collineation warping function
US10970883B2 (en) 2017-06-20 2021-04-06 Augmenti As Augmented reality system and method of displaying an augmented reality image
CN109118592A (zh) * 2018-08-28 2019-01-01 三盟科技股份有限公司 一种ar呈现的补偿效果实现方法及系统
CN109118592B (zh) * 2018-08-28 2023-06-16 广州影新教育科技有限公司 一种ar呈现的补偿效果实现方法及系统
CN109813277A (zh) * 2019-02-26 2019-05-28 北京中科慧眼科技有限公司 测距模型的构建方法、测距方法、装置以及自动驾驶系统
CN109813277B (zh) * 2019-02-26 2021-07-16 北京中科慧眼科技有限公司 测距模型的构建方法、测距方法、装置以及自动驾驶系统
CN111750872A (zh) * 2020-06-17 2020-10-09 北京嘀嘀无限科技发展有限公司 信息交互方法、装置、电子设备和计算机可读存储介质
CN111750872B (zh) * 2020-06-17 2021-04-13 北京嘀嘀无限科技发展有限公司 信息交互方法、装置、电子设备和计算机可读存储介质
CN114442305A (zh) * 2020-11-02 2022-05-06 上海迈利船舶科技有限公司 一种视觉增强ais船舶望远镜

Also Published As

Publication number Publication date
DE102008023439A1 (de) 2009-11-26
DE102008023439B4 (de) 2011-02-17

Similar Documents

Publication Publication Date Title
US10366511B2 (en) Method and system for image georegistration
AU2015265416B2 (en) Method and system for image georegistration
DE102008023439B4 (de) Augmented Reality Fernglas zur Navigationsunterstützung
Wagner A new approach for geo-monitoring using modern total stations and RGB+ D images
DE10308525A1 (de) Vermessungssystem
EP3410064A1 (de) Inspektionskameraeinheit, verfahren zur inspektion von innenräumen sowie sensoreinheit
DE10328828A1 (de) Surveying System
CH695121A5 (de) Verfahren und Anordnung zur Durchführung von geodätischen Messungen mittels Videotachymeter.
EP1735749A2 (de) Verfahren zur rotationskompensation sphärischer bilder
EP2930466B1 (de) Handhaltbares Beobachtungsgerät mit einem digitalen Magnetkompass
DE102012208132A1 (de) Verfahren zur Fahrzeuglokalisierung
DE102019216548A1 (de) Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
EP3584536B1 (de) Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität
DE102009054214B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Umgebung
DE102016216196A1 (de) Sensoranlage mit einer optischen Sensoreinheit und eine Automatisierungsanlage
Schreiber et al. Navigational checking using 3D maps: The influence of elevation angle, azimuth, and foreshortening
WO2015173256A2 (de) Verfahren und system zur bestimmung einer gegenständlichen lage
DE102006051539A1 (de) Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen
EP3903285B1 (de) Verfahren und systeme zur 3d-kamerapositionsbestimmung
Wagner¹ et al. Monitoring concepts using image assisted total stations
DE202014001126U1 (de) Vermessungsanordnung
DE102016222319A1 (de) 3d-referenzierung
DE102007032471A1 (de) Verfahren und Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt
Haase et al. AR binocular: Augmented reality system for nautical navigation
DE102017200303A1 (de) Digitale kartierung von strassenmarkierungen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09745453

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 09745453

Country of ref document: EP

Kind code of ref document: A1