WO2018130439A1 - Augmentiertes darstellen eines objekts durch ein mobiles endgerät in einem fahrzeug - Google Patents

Augmentiertes darstellen eines objekts durch ein mobiles endgerät in einem fahrzeug Download PDF

Info

Publication number
WO2018130439A1
WO2018130439A1 PCT/EP2018/050108 EP2018050108W WO2018130439A1 WO 2018130439 A1 WO2018130439 A1 WO 2018130439A1 EP 2018050108 W EP2018050108 W EP 2018050108W WO 2018130439 A1 WO2018130439 A1 WO 2018130439A1
Authority
WO
WIPO (PCT)
Prior art keywords
endg
terminal
absolute
orientation
relative
Prior art date
Application number
PCT/EP2018/050108
Other languages
English (en)
French (fr)
Inventor
Marc Necker
Arne LEONHARDT
Tobias Tropper
Jannik MICHEL
Christian Gruenler
Jonas HAELING
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2018130439A1 publication Critical patent/WO2018130439A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Definitions

  • the invention relates to a method for augmented presentation of a real object on a mobile terminal and to a system for augmented presentation of the real object on the mobile terminal.
  • A1 discloses a method for augmented representation of at least one real operating element and / or a real object on a mobile terminal.
  • an image of an environment, in particular a vehicle environment is recorded by means of the mobile terminal and output as an output image on a screen / display of the mobile terminal.
  • at least one additional virtual information is generated and displayed in the output image on the screen.
  • the object of the invention is to improve the augmented representation of a real object on a mobile terminal.
  • a first aspect of the invention relates to a method for augmented presentation of a real object on a mobile terminal ENDG, comprising the steps: inserting the terminal ENDG into a holder HALT of a vehicle CAR, determining an absolute position PCAR and an absolute orientation OCAR of the vehicle CAR, Determining an absolute position PENDG and an absolute orientation OENDG of the terminal ENDG inserted in the holder HALT of the vehicle CAR from the absolute position PCAR and the absolute orientation OCAR, removing the terminal ENDG from the holder HALT, determining a relative position PENDG, rei and one relative orientation OENDG, rei of the terminal ENDG compared to the currently determined absolute position PCAR and the currently determined absolute orientation OCAR, determination an absolute position and an absolute orientation of the
  • Terminal ENDG from the determined relative position and the relative
  • the vehicle can be a car, truck, bus, rail vehicle, watercraft
  • the real object to be augmented displayed on the mobile terminal represents an object with a potential interest or a potential meaning for a user.
  • an object is commonly referred to as a "point of interest” ("POI").
  • POIs are buildings, landscapes, roads,
  • An augmented real object to be displayed is to be understood as an illustrated object which is supplemented by a virtual object with additional information.
  • the virtual object which is displayed contact-analogous with the real object on the terminal, is in particular a graphic, a picture, a symbolized landmark or a text.
  • the mobile terminal for displaying the respective object, i. of the real and / or the virtual object a display unit.
  • the display unit is a screen, such as an LCD screen, an LED or an OLED screen.
  • the display unit is a projector, for example, to cast an image on a surface or hereaptaptn in a glass.
  • the real object together with the virtual object is then displayed contact-analogically when the terminal is aligned with the real object, and in particular when a camera of the terminal is aligned with the real object.
  • a condition for the contact analog representation that the real object is located in a defined perimeter of the terminal and / or the vehicle. This requires an exact determination of an absolute position of the terminal and a known absolute position of the real object.
  • the absolute position of the real object is preferably known from a digital map.
  • two preferred alternatives are shown: In a first preferred procedure, according to purely geometrical conditions, the
  • the contact analog representation performed with the virtual object.
  • the contact analog representation is thus not interrupted or even prevented by at least temporary and / or at least partially occlusions of the real object by other objects from the point of view of the terminal. According to this procedure, the contact analog representation is therefore possible even in fog, darkness and cloudy vision.
  • absolute position and the term “absolute orientation” designates a position or an orientation relative to an absolute coordinate system.
  • an absolute coordinate system is advantageously defined as an earth-fixed coordinate system, preferably the WGS-84 system, in which the earth acts as a reference ellipsoid as an absolute reference body.
  • the vehicle is in particular equipped with a vehicle location unit.
  • this vehicle tracking unit has a satellite-supported locating unit that uses further sensors to improve the accuracy of a position determination of the vehicle, which preferably includes one or more of the following elements: magnetic sensor, inertial measuring unit (“IMU"), satellite navigation system (for example: NAVSTAR-GPS , GLONASS, Galileo, BeiDou, or IRNSS / NAVIC), camera for detecting an optical flow of an environment of the camera, camera with image recognition function for comparison with a digital map, or WLAN locating unit for assigning a WLAN source to a position of the WLAN Source.
  • IMU inertial measuring unit
  • satellite navigation system for example: NAVSTAR-GPS , GLONASS, Galileo, BeiDou, or IRNSS / NAVIC
  • camera for detecting an optical flow of an environment of the camera
  • camera with image recognition function for comparison with a digital map
  • WLAN locating unit for assigning a WLAN source to a position of the WLAN Source.
  • this sensor transmits the respective data for locating the vehicle to a processing unit which accesses a digital map, wherein the data from different sensors are merged in a data fusion for an improved estimation of a determined vehicle position.
  • This process is preferably carried out with the aid of a Kalman filter in order to control jumps and noise up to a predefined one To smooth the bandwidth and introduce some inertia in the merged estimate of the current vehicle position.
  • the orientation of the vehicle is in particular by an azimuth, preferably defined by the
  • an azimuth angle of the vehicle describes a horizontal plane angle of the vehicle's longitudinal axis from north
  • the angle of inclination indicates an inclination of the longitudinal axis of the vehicle relative to the horizontal plane.
  • the roll angle of the vehicle describes an angle that comes about by rolling the vehicle about this longitudinal axis, or a projection of the longitudinal axis on the horizontal plane, with respect to the horizontal plane to conditions.
  • Coordinate transformation occur to another reference system, in particular at an inclination angle of 90 ° to the horizontal plane, which leads to a singular calculation of the roll angle.
  • Determining an absolute position and an absolute orientation of the vehicle in particular by the above-mentioned vehicle locating unit, can be performed more accurately than a direct determination of an absolute position and an absolute orientation of the terminal, in particular by the terminal itself. This is particularly true when Vehicle is equipped with a high-quality vehicle tracking unit whose geometric dimensions, for example, would exceed the space in a terminal or whose energy needs would excessively burden the power supply in a terminal, but a generally higher accuracy can achieve than this is able to achieve a built-in tracking unit in a terminal.
  • Vehicle location unit may simply be a more advantageous arrangement of sensors. If a GNSS / GPS antenna is arranged on the outside of the vehicle, a signal with a significantly higher signal-to-noise ratio can generally be received with it than is possible with an antenna in the vehicle interior, for example with an antenna arranged on the terminal.
  • the high accuracy of the determined absolute position and the determined absolute orientation of the vehicle is utilized to provide relative orientation and relative position of the terminal to the vehicle To improve the accuracy of a determined absolute position and an absolute orientation of the terminal.
  • the position of the holder in the vehicle itself is known, in particular in relation to a vehicle location unit described above, so that the determination of an absolute position PENDG and an absolute orientation OENDG of the terminal ENDG inserted into the holder HALT of the vehicle CAR from the absolute position PCAR and the absolute position Orientation OCAR can be determined by this known offset. Therefore, if the absolute position PCAR and the absolute orientation OCAR are determined, the absolute position PENDG and the absolute position can be determined seamlessly and without further sensor data, assuming and / or assuming that the holder for the mobile terminal is connected to the vehicle Orientation OENDG of the terminal ENDG be determined.
  • contact analogue also means that the virtual object is fixedly assigned to the represented real object within certain limits, so that a real object in the environment, for example a building, can be displayed superimposed with a virtual object and assigned locally, so that it can be represented in
  • the representation of the real object of the environment on the mobile terminal for a user looks like the virtual object belongs to the real object held or moved to a fixed position. Further preferably, the virtual object is output analogously in perspective correctly in the output image.
  • the augmented representation of a real object on a mobile terminal is improved, and in particular a determined absolute position and determined absolute orientation of the mobile terminal used for the augmented representation is improved.
  • this increases the quality of the assignment of the virtual object to the real object shown, which improves the quality of the contact-analog representation.
  • the relative position and the relative orientation is determined on the basis of measurement data from acceleration sensors and / or from a magnetic field sensor and / or from a camera sensor and / or from a position determination unit in the terminal ENDG.
  • the corresponding sensors are advantageously arranged in the terminal ENDG for this purpose.
  • the position determination unit uses in particular a satellite-based system, in particular NAVSTAR-GPS, GLONASS, Galileo, BeiDou, or IRNSS / NAVIC.
  • the relative position and the relative orientation arranged in a vehicle
  • Relativchischismessvortechnisch determined, in particular a so-called “motion capture system", in which by optical detection of the terminal relative to the vehicle, a relative movement consisting of a relative change in position and a relative orientation change, between the terminal and the vehicle is determined.
  • Position determination unit determined in the terminal ENDG.
  • the position determination unit uses a satellite-based system, in particular NAVSTAR-GPS, GLONASS, Galileo, BeiDou, or IRNSS / NAVIC.
  • This determined absolute position and / or absolute orientation is preferably fused in each case with the absolute position determined from the determined relative position and / or from the determined relative orientation and / or the absolute orientation, so that both types of determination of the absolute position and / or support and complement each other's absolute orientation.
  • a measure M1 for the current accuracy of the absolute positives and / or a measure M2 for the current accuracy of the absolute orientation d / or a measure M3 for an overall accuracy of position and orientation determined and output is determined by the terminal ENDG and output from this.
  • the measure M3 is preferably either an arithmetic mean of the measures M1 and M2, or the respectively smaller value of the set ⁇ M1, M2 ⁇ (set consisting of the elements M1 and M2), or the sum of the measures M1 and M2.
  • the measure M1 and / or the measure M2 and / or the measure M3 is dependent on the time that has elapsed from the holder since the removal of the terminal ENDG and / or depending on a type and Frequency of movement of the terminal ENDG during this time, determined. In particular, this is a signal drift, the limited depending on this time and / or the nature and frequency of movement of the terminal ENDG.
  • an information which serves as a request to insert the terminal ENDG in the holder HALT then output when the measure M1 and / or the measure M2 and / or the measure M3 does not meet a predetermined condition , Namely, the terminal ENDG again
  • the information is preferably output via a display.
  • a display is particularly in the form of a bar which, when fully filled, indicates maximum accuracy and which, when completely empty, symbolizes very low accuracy. Furthermore, the accuracy is preferred by a
  • the accuracy of the position determination and orientation determination of the terminal and thus the quality and / or the reliability of the augmented representation of the real object, is thus advantageously increased.
  • the real object is currently taken up by a camera of the terminal ENDG and displayed on a display of the terminal ENDG, and the virtual object on the display is superimposed on the real object superimposed contact.
  • the real object is displayed as a camera image on the display of the terminal ENDG, which advantageously simplifies the assignment to the real object in reality even to the real object displayed on the terminal.
  • the proposed system comprises a holder HALT in a vehicle CAR for inserting the terminal ENDG in the holder HALT, a preferably arranged in the vehicle CAR unit E1 for determining an absolute position P C AR and an absolute orientation OCAR of the vehicle CAR, preferably arranged in the vehicle CAR unit E2 for determining an absolute position PENDG and an absolute orientation OENDG of in the
  • Holder HALT of the vehicle CAR inserted terminal ENDG from the absolute position P C AR and the absolute orientation OCAR preferably arranged in the terminal ENDG unit E3 for determining a relative position PENDG, rei and a relative orientation OENDG, rei of the terminal ENDG after removal of the terminal ENDG from the holder HALT with respect to the currently determined absolute position PCAR and the absolute orientation OCAR, a preferably arranged in the terminal ENDG unit E4 for determining an absolute position and an absolute orientation OENDG, abs of the terminal ENDG from the determined relative position PENDG, rei and the relative orientation OENDG, rei, wherein the terminal ENDG is designed and set up on the basis of the determined absolute position and the absolute orientation a contact-analog representation of a real object superimposed virtual object on the terminal ENDG takes place.
  • the unit E3 comprises at least one of the following elements: a camera system adapted to determine a relative orientation and / or a relative position when the terminal ENDG moves between two points in time by analyzing an optical flow of the environment detected by a camera, a gyro sensor, a rotational acceleration sensor, a translational acceleration sensor.
  • the units E1 to E4 can be operated depending on the arrangement on common control units, for example, the units E1 and E2 are preferably integrated in a control unit in the vehicle and the units E3 and E4 in a control unit of the terminal ENDG.
  • the terminal ENDG is one of the following elements: a smartphone, a tablet computer, virtual reality glasses, goggles for augmented reality, or data glasses.
  • the augmented reality uses the actual environment and presents it truthfully, but with extended
  • FIG. 1 shows a system for augmented representation of a real object on a mobile terminal according to a first embodiment of the invention
  • Fig. 3 shows the vehicle with the holder for the mobile terminal according to the first
  • FIG. 5 shows a mobile terminal in two positions and orientations in carrying out the method of the embodiment of FIG. 4.
  • FIG. 1 shows a system for augmented representation of a church tower 50 on a mobile terminal ENDG 10, a smartphone.
  • the church tower 50 is located in an environment of a vehicle 1.
  • the smartphone 10 itself is shown in more detail in FIG. The following discussion thus relates equally to Figs. 1 and 2.
  • the system comprises the following elements: a holder HALT 3 in a vehicle CAR 1 for insertion of the smartphone ENDG 10 in the holder HALT 3, arranged in the vehicle CAR 1 unit E1 5 for determining an absolute position P C AR and an absolute orientation OCAR of the vehicle CAR 1, arranged in the vehicle CAR 1 unit E2 7 for determining an absolute position PENDG and an absolute orientation OENDG of the inserted into the holder HALT 3 of the vehicle CAR 1 smartphone ENDG 10 from the absolute position P C AR and the absolute orientation OCAR, a unit E3 16 arranged in the smartphone ENDG 10 for determining a relative position PENDG, rei and a relative orientation OENDG, of the smartphone ENDG 10 after removal of the smartphone ENDG 10 from the holder HALT 3 with respect to the currently determined absolute position P C AR and the absolute orientation OCAR, arranged in the smartphone ENDG 10 unit E4 18 for determining a absolute position and an absolute orientation OENDG, abs of the smartphone ENDG 10
  • the unit E3 16 in this case has a camera system for determining a relative
  • Acceleration sensor and a translational acceleration sensor are referred to as Acceleration sensor and a translational acceleration sensor.
  • Fig. 2 shows the terminal ENDG 10, namely a smartphone in two states.
  • the representation of the church tower 50 takes place without the contact analog representation of the superimposed virtual object 52, the cross.
  • Fig. 2b shows the representation of the church tower 50 with the contact-analog representation of the superimposed virtual object 52, the cross.
  • Fig. 3 shows the vehicle 1 with a holder HALT 3 of the vehicle CAR 1 for insertion of the terminal ENDG 10.
  • the vehicle 1 also has a in the vehicle CAR 1 arranged unit E1 5 for determining an absolute position PCAR and an absolute orientation OCAR of the vehicle CAR 1, and arranged in the vehicle CAR 1 unit E2 7 for determining an absolute position PENDG and an absolute orientation OENDG of the holder in the HALT of the vehicle CAR 1 inserted smartphones ENDG 10 from the absolute position PCAR and the absolute orientation OCAR.
  • FIG. 4 shows a corresponding method for augmented presentation of a real object 50 on a mobile terminal ENDG 10, which is preferably a smartphone.
  • the method comprises the following steps: inserting S1 of the terminal ENDG 10 into a holder HALT 3 of a vehicle CAR 1, determining S2 an absolute position P C AR and an absolute orientation OCAR of the vehicle CAR 1, determining S3 an absolute position PENDG and an absolute orientation OENDG of the in the
  • Bracket STOP 3 of the vehicle CAR 1 inserted terminal ENDG 10 from the absolute position PCAR and the absolute orientation OCAR, remove S4 of the terminal ENDG 10 from the bracket HALT 3, determining S5 a relative position PENDG, rei and a relative orientation OENDG, rei des Terminal ENDG 10 compared to the currently determined absolute position P C AR and the currently determined absolute
  • Orientation OCAR Determine S6 of an absolute position and an absolute orientation of the terminal ENDG 10 from the determined relative position PENDG, rei and the relative orientation OENDG, rei, and on the basis of the determined absolute position and the absolute orientation of contact-analog representation S7 of a virtual object 52 superimposed on the real object 50 on the terminal ENDG 10, wherein the virtual object is preferably a graphic, an image, or a text.
  • the relative position PENDG, rei and the relative orientation OENDG, rei on the basis of measured data from acceleration sensors and of a
  • Position detection unit for receiving signals from GPS satellites
  • the information from the position determination unit simultaneously provides an absolute position which is fused to the absolute position determined from the relative position PENDG, rei of the terminal ENDG 10 and the absolute position P C AR of the vehicle CAR 1. Furthermore, the real object is currently recorded by a camera 12 of the terminal ENDG 10 and displayed on a display 14 of the Terminal ENDG 10 shown, which is shown superimposed contact-like with a virtual object 52 on the display 14.
  • FIG. 5 shows a coordinate system with the axes x, y and z, which describes the orientation of the terminal ENDG 10 inserted in the holder 3 of the vehicle 1.
  • a user moves the terminal 10 to a different position and in a different orientation relative to the vehicle 1.
  • This creates a new local reference system, which is preferably described via Euler angle.
  • the definition of the rotational order of the individual rotation angles determines the entries of a 3x3 dimensional transformation matrix. In the example shown in FIG. 5, this order is the rotation about the vertical axis z at an angle a1 - which determines the azimuth. It follows the turn around one

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts (50) auf einem mobilen Endgerät ENDG (10), aufweisend die Schritte: Einstecken (S1) des Endgeräts ENDG (10) in eine Halterung HALT (3) eines Fahrzeugs CAR (1), Ermitteln (S2) einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR (1), Ermitteln (S3) einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT (3) des Fahrzeugs CAR (1) eingesteckten Endgeräts ENDG (10) aus der absoluten Position PCAR und der absoluten Orientierung OCAR, Entnehmen (S4) des Endgeräts ENDG (10) aus der Halterung HALT (3), Ermitteln (S5) einer relativen Position PENDG,rel und einer relativen Orientierung OENDG,rel des Endgeräts ENDG (10) gegenüber der aktuell ermittelten absoluten Position PCAR und der aktuell ermittelten absoluten Orientierung OCAR, Ermitteln (S6) einer absoluten Position PENDG,abs und einer absoluten Orientierung OENDG,abs des Endgeräts ENDG (10) aus der ermittelten relativen Position PENDG,rel und der relativen Orientierung OENDG,rel, und auf Basis der ermittelten absoluten Position PENDG,abs und der absoluten Orientierung OENDG,abs kontaktanaloges Darstellen (S7) eines dem realen Objekt (50) überlagerten virtuellen Objekts (52) auf dem Endgerät ENDG (10).

Description

Augmentiertes Darstellen eines Objekts durch ein mobiles Endgerät in einem Fahrzeug
Die Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät sowie ein System zum augmentierten Darstellen des realen Objekts auf dem mobilen Endgerät.
Die DE 10 2013 021 978 A1 offenbart ein Verfahren zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder eines realen Objekts auf einem mobilen Endgerät. Dabei wird mittels des mobilen Endgerätes ein Bild einer Umgebung, insbesondere einer Fahrzeugumgebung, aufgenommen und als ein Ausgabebild auf einem Bildschirm/Display des mobilen Endgerätes ausgegeben. Weiterhin wird mindestens eine virtuelle Zusatzinformation erzeugt und in dem Ausgabebild auf dem Bildschirm eingeblendet.
Aufgabe der Erfindung ist es, das augmentierte Darstellen eines realen Objekts auf einem mobilen Endgerät zu verbessern.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät ENDG, aufweisend die Schritte: Einstecken des Endgeräts ENDG in eine Halterung HALT eines Fahrzeugs CAR, Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR, Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position PCAR und der absoluten Orientierung OCAR, Entnehmen des Endgeräts ENDG aus der Halterung HALT, Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG gegenüber der aktuell ermittelten absoluten Position PCAR und der aktuell ermittelten absoluten Orientierung OCAR, Ermitteln einer absoluten Position
Figure imgf000004_0001
und einer absoluten Orientierung des
Endgeräts ENDG aus der ermittelten relativen Position
Figure imgf000004_0002
und der relativen
Orientierung
Figure imgf000004_0003
und auf Basis der ermittelten absoluten Position und der absoluten Orientierung
Figure imgf000004_0004
kontaktanaloges Darstellen eines dem realen Objekt überlagerten virtuellen Objekts auf dem Endgerät ENDG.
Das Fahrzeug kann ein PKW, LKW, Bus, Schienenfahrzeug, Wasserfahrzeug
(beispielsweise Schiff), Unterwasserfahrzeug, oder ein Luftfahrzeug sein.
Bevorzugt stellt das auf dem mobilen Endgerät augmentiert darzustellende reale Objekt ein Objekt mit einem potentiellen Interesse oder einer potentiellen Bedeutung für einen Nutzer dar. Solch ein Objekt wird üblicherweise als "Point of Interest" ("POI") bezeichnet. Insbesondere handelt es sich bei den POI um Gebäude, Landschaften, Straßen,
Parkplätze, Städte oder Dörfer, Bankautomaten, gastronomische Einrichtungen,
Unterkünfte, Geschäfte, Tankstellen, Sehenswürdigkeiten oder dergleichen - jeweils mit einer bekannten absoluten Position. Unter einem augmentierten darzustellenden realen Objekt ist ein dargestelltes Objekt zu verstehen, das durch ein virtuelles Objekt mit zusätzlichen Informationen angereichert wird.
Das virtuelle Objekt, das kontaktanalog mit dem realen Objekt auf dem Endgerät dargestellt wird, ist insbesondere eine Grafik, ein Bild, eine symbolisierte Landmarke oder ein Text. Insbesondere weist das mobile Endgerät zum Darstellen des jeweiligen Objekts, d.h. des realen und/oder als auch des virtuellen Objektes, eine Anzeigeeinheit auf.
Bevorzugt ist die Anzeigeeinheit ein Bildschirm, etwa ein LCD-Bildschirm, ein LED- oder ein OLED-Bildschirm. Alternativ ist die Anzeigeeinheit ein Projektor, beispielsweise um ein Bild an eine Fläche zu werfen oder in ein Glas einzuspiegeln.
Bevorzugt wird das reale Objekt zusammen mit dem virtuellen Objekt dann kontaktanalog dargestellt, wenn das Endgerät auf das reale Objekt, und insbesondere wenn eine Kamera des Endgeräts auf das reale Objekt, ausgerichtet ist. Weiterhin bevorzugt ist eine Bedingung für die kontaktanaloge Darstellung, dass sich das reale Objekt in einem definierten Umkreis des Endgeräts und/oder des Fahrzeugs befindet. Dafür ist eine genaue Ermittlung einer absoluten Position des Endgeräts und eine bekannte absolute Position des realen Objekts erforderlich. Die absolute Position des realen Objekts ist bevorzugt aus einer digitalen Karte bekannt. Für eine Voraussetzung, nach der das reale Objekt kontaktanalog mit dem virtuellen Objekt überlagert wird, seien zwei bevorzugte Alternativen dargestellt: In einer ersten bevorzugten Vorgehensweise wird nach rein geometrischen Bedingungen das
kontaktanaloge Darstellen mit dem virtuellen Objekt ausgeführt. Vorteilhaft wird das kontaktanaloge Darstellen somit nicht durch zumindest temporäre und/oder zumindest abschnittsweise Verdeckungen des realen Objekts durch andere Objekte aus Sicht des Endgeräts unterbrochen oder gar verhindert. Nach dieser Vorgehensweise ist das kontaktanaloge Darstellen demnach auch bei Nebel, Dunkelheit und getrübter Sicht möglich. In einer weiteren bevorzugten Vorgehensweise ist eine weitere, zusätzlich zu den geometrischen Bedingungen, oder alleinige Bedingung, dass eine Kamera des Endgeräts das reale Objekt tatsächlich erfasst. Zu diesem Zweck kommt bevorzugt ein Bilderkennungsalgorithmus zum Einsatz.
Der Ausdruck "absolute Position" sowie der Ausdruck "absolute Orientierung" bezeichnet dabei eine Position beziehungsweise eine Orientierung gegenüber einem absoluten Koordinatensystem. Ein solches absolutes Koordinatensystem wird vorteilhaft als ein erdfestes Koordinatensystem definiert, bevorzugt das WGS-84 System, bei dem die Erde als ein Referenzellipsoid als absoluter Bezugskörper fungiert.
Das Fahrzeug ist insbesondere mit einer Fahrzeugortungseinheit ausgestattet. Diese Fahrzeugortungseinheit weist insbesondere eine satellitengestützte Ortungseinheit auf, die zur Verbesserung der Genauigkeit einer Positionsermittlung des Fahrzeugs sich weiterer Sensorik bedient, die bevorzugt eines oder mehrerer folgender Elemente beinhaltet: Magnetsensor, Inertiale Messeinheit ("IMU"), Satellitennavigationssystem (beispielsweise für: NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC), Kamera zum Erfassen eines optischen Flusses einer Umgebung der Kamera, Kamera mit Bilderkennungsfunktion zum Abgleich mit einer digitalen Karte, oder WLAN- Ortungseinheit zum Zuordnen einer WLAN-Quelle zu einer Position der WLAN-Quelle.
Diese Sensorik leitet die jeweiligen Daten zur Ortung des Fahrzeugs insbesondere an Verarbeitungseinheit weiter, die auf eine digitale Karte zugreift, wobei die Daten aus unterschiedlichen Sensoren in Datenfusion zu einer verbesserten Schätzung einer ermittelten Fahrzeugposition zusammengeführt werden. Bevorzugt erfolgt dieser Vorgang mit Hilfe eines Kaimanfilters, um Sprünge und Rauschen bis zu einer vordefinierten Bandbreite zu glätten und eine gewisse Trägheit in die fusionierte Schätzung der aktuellen Fahrzeugposition einzubringen.
Ein analoges Vorgehen oder nahezu analoges Vorgehen wird bevorzugt für die
Ermittlung einer aktuellen Orientierung des Fahrzeugs angewandt. Die Orientierung des Fahrzeugs wird insbesondere durch einen Azimut, bevorzugt definiert durch die
Ausrichtung einer Längsachse des Fahrzeugs, bestimmt. Weiterhin können ein
Inklinationswinkel des Fahrzeugs und ein Rollwinkel des Fahrzeugs ermittelt werden.
Während ein Azimutwinkel des Fahrzeugs insbesondere einen in einer horizontalen Ebene liegenden Winkel der Längsachse des Fahrzeugs gegenüber Norden beschreibt, zeigt der Inklinationswinkel eine Neigung der Längsachse des Fahrzeugs gegenüber der horizontalen Ebene an. Demnach beschreibt der Rollwinkel des Fahrzeugs einen Winkel, der durch Rollen des Fahrzeugs um diese Längsachse, beziehungsweise einer Projektion der Längsachse auf die horizontale Ebene, gegenüber der horizontalen Ebene zu Stande kommt. Durch alle drei Winkel, dem Azimut-, dem Inklinations- und dem Rollwinkel des Fahrzeugs, in ihrer Gesamtheit auch Eulerwinkel genannt, wird eine Orientierung des Fahrzeugs vollständig beschrieben.
Alternativ zu Eulerwinkeln kann auf eine Quaternionenbeschreibung ausgewichen werden, sollten mögliche Singularitäten bei Berechnungen in der
Koordinatentransformation zu einem anderen Bezugssystem auftreten, insbesondere bei einem Inklinationswinkel von 90° gegenüber der horizontalen Ebene, der zu einer singulären Berechnung des Rollwinkels führt.
Es ist jedoch davon auszugehen, dass die Ortung des Fahrzeugs, das heißt die
Ermittlung einer absoluten Position und einer absoluten Orientierung des Fahrzeugs, insbesondere durch die oben genannte Fahrzeugortungseinheit, genauer erfolgen kann, als eine direkte Ermittlung einer absoluten Position und einer absoluten Orientierung des Endgeräts, insbesondere durch das Endgerät selbst. Dies ist insbesondere dann zutreffend, wenn das Fahrzeug mit einer hochwertigen Fahrzeugortungseinheit ausgestattet ist, deren geometrischen Ausmaße beispielsweise den Bauraum in einem Endgerät übersteigen würde oder deren Energiebedarf die Energieversorgung in einem Endgerät übermäßig belasten würde, jedoch eine im Allgemeinen höhere Genauigkeit erreichen kann als dies eine in einem Endgerät integrierte Ortungseinheit zu erreichen vermag.
Ein anderer möglicher Grund für die höhere Genauigkeit einer solchen
Fahrzeugortungseinheit kann schlicht eine vorteilhaftere Anordnung von Sensoren sein. Ist eine GNSS/GPS-Antenne am Fahrzeugäußeren angeordnet, ist mit ihr grundsätzlich ein Signal mit einem wesentlich höheren Signal-zu-Rausch Verhältnis empfangbar, als dies mit einer Antenne im Fahrzeuginneren, beispielsweise mit einer an dem Endgerät angeordneten Antenne, möglich ist.
Gemäß dem vorgeschlagenen Verfahren wird daher zur Verbesserung einer Genauigkeit einer ermittelten absoluten Position und einer absoluten Orientierung des Endgeräts die hohe Genauigkeit der ermittelten absoluten Position und der ermittelten absoluten Orientierung des Fahrzeugs ausgenutzt, um über eine relative Orientierung und über eine relative Position des Endgeräts zum Fahrzeug die Genauigkeit einer ermittelten absoluten Position und einer absoluten Orientierung des Endgeräts zu verbessern.
Die Position der Halterung im Fahrzeug selbst ist dabei, insbesondere gegenüber einer oben beschrieben Fahrzeugortungseinheit, bekannt, sodass das Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position PCAR und der absoluten Orientierung OCAR durch diesen bekannten Versatz bestimmbar ist. Wird daher die absolute Position PCAR und die absolute Orientierung OCAR ermittelt, kann unter der Annahme und/oder unter der Voraussetzung, dass die Halterung für das mobile Endgerät körperfest mit dem Fahrzeug verbunden ist, nahtlos und ohne weitere Sensordaten die absolute Position PENDG und die absoluten Orientierung OENDG des Endgeräts ENDG ermittelt werden.
Der Begriff „kontaktanalog" bedeutet ferner, dass das virtuelle Objekt dem dargestellten realen Objekt innerhalb gewisser Grenzen ortsfest zugeordnet wird. So kann ein reales Objekt in der Umgebung, beispielsweise ein Gebäude, überlagert mit einem virtuellen Objekt und örtlich zugeordnet dargestellt werden, sodass es in der Darstellung des realen Objekts der Umgebung auf dem mobilen Endgerät für einen Benutzer aussieht, als würde das virtuelle Objekt zum realen Objekt gehören. Das mobile Endgerät kann dabei an einer festen Position gehalten oder bewegt werden. Weiterhin bevorzugt wird das virtuelle Objekt analog perspektivisch korrekt im Ausgabebild ausgegeben.
Es ist eine vorteilhafte Wirkung der Erfindung, dass das augmentierte Darstellen eines realen Objekts auf einem mobilen Endgerät verbessert wird, und insbesondere eine für die augmentierte Darstellung verwendete ermittelte absolute Position und ermittelte absolute Orientierung des mobilen Endgeräts verbessert wird. Dies erhöht insbesondere die Qualität der Zuordnung des virtuellen Objekts zum dargestellten realen Objekt, wodurch die Qualität der kontaktanalogen Darstellung verbessert wird.
Gemäß einer vorteilhaften Ausführungsform werden bei dem Verfahren die relative Position
Figure imgf000008_0001
und die relative Orientierung auf Basis von Messdaten von Beschleunigungssensoren und/oder von einem Magnetfeldsensor und/oder von einem Kamerasensor und/oder von einer Positionsermittlungseinheit im Endgerät ENDG ermittelt. Die entsprechenden/genannten Sensoren sind hierfür vorteilhaft im Endgerät ENDG angeordnet.
Zum Ermitteln der relative Position
Figure imgf000008_0002
durch translationale Beschleunigungssensoren und zum Ermitteln der relativen Orientierung
Figure imgf000008_0003
durch Winkelbeschleunigungssensoren wird vorteilhaft eine von dem Fahrzeug selbst erfahrene translationale und rotatorischen Beschleunigung subtrahiert, um eine relative
Beschleunigung zum Fahrzeug zu erhalten, die durch zweifache Integration zu einer Positionsänderung errechnet wird. Die Positionsermittlungseinheit dagegen verwendet insbesondere ein satellitengestütztes System, insbesondere NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC.
Vorteilhaft wird in dieser Ausführungsform im Endgerät selbst, das heißt ohne eine zusätzliche Vorrichtung, die relative Position
Figure imgf000008_0004
und die relative Orientierung ermittelt.
Gemäß einer weiteren vorteilhaften Ausführungsform wird die relative Position
Figure imgf000008_0005
und die relative Orientierung
Figure imgf000008_0006
in einer im Fahrzeug angeordneten
Relativbewegungsmessvorrichtung, insbesondere einem sogenannte„Motion Capture System" ermittelt, bei dem durch optische Erfassung des Endgeräts gegenüber dem Fahrzeug eine Relativbewegung, bestehend aus einer relativen Positionsänderung und einer relativen Orientierungsänderung, zwischen dem Endgerät und dem Fahrzeug ermittelt wird.
Vorteilhaft wird in dieser Ausführungsform eine sehr hohe Genauigkeit der relativen Position
Figure imgf000009_0001
und der relativen Orientierung des Endgeräts gegenüber dem Fahrzeug erreicht, ohne dass eine Bewegung und/oder Position und Orientierung des Fahrzeugs aus der erfassten Position und Orientierung des Endgeräts herauszurechnen ist.
Gemäß einer weiteren vorteilhaften Ausführungsform werden bei dem Verfahren die absolute Position
Figure imgf000009_0002
und/oder die absolute Orientierung unter
Berücksichtigung von Messdaten eines Magnetfeldsensors und/oder einer
Positionsermittlungseinheit im Endgerät ENDG ermittelt.
Die Positionsermittlungseinheit verwendet insbesondere ein satellitengestütztes System, insbesondere NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC. Diese ermittelte absolute Position und/oder absolute Orientierung wird bevorzugt jeweils mit der aus der ermittelten relativen Position und/oder aus der ermittelten relativen Orientierung ermittelten absoluten Position und/oder der absoluten Orientierung fusioniert, sodass vorteilhaft beide Arten der Ermittlung der absoluten Position und/oder der absoluten Orientierung einander stützen und ergänzen.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren ein Maß M1 für die aktuelle Genauigkeit der absoluten Positi und/oder ein Maß M2 für die aktuelle Genauigkeit der absoluten Orientierung
Figure imgf000009_0003
d/oder ein Maß M3 für eine Gesamtgenauigkeit von Position
Figure imgf000009_0004
und Orientierung ermittelt und ausgegeben. Bevorzugt wird das jeweilige Maß durch das Endgerät ENDG ermittelt und von diesem ausgegeben. Das Maß M3 ist bevorzugt entweder ein arithmetisches Mittel aus den Maßen M1 und M2, oder der jeweils kleinere Wert aus der Menge {M1 ;M2} (Menge bestehend aus den Elementen M1 und M2), oder die Summe aus den Maßen M1 und M2. Vorteilhaft ist ein Benutzer des Endgeräts ENDG somit über eine aktuelle Genauigkeit der Positionsermittlung und Orientierungsermittlung des Endgeräts, und damit der Qualität und/oder Zuverlässigkeit der augmentierten Darstellung des realen Objekts, informiert. Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren das Maß M1 und/oder das Maß M2 und/oder das Maß M3 abhängig von der Zeit, die seit dem Entnehmen des Endgeräts ENDG aus der Halterung vergangen ist, und/oder abhängig von einer Art und Häufigkeit der Bewegung des Endgeräts ENDG während dieser Zeit, ermittelt. Insbesondere wird hierdurch eine Signaldrift, die Abhängig von dieser Zeit und/oder der Art und Häufigkeit der Bewegung des Endgeräts ENDG begrenzt.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren eine Information, die als Aufforderung dient, das Endgerät ENDG in die Halterung HALT einzustecken, dann ausgegeben, wenn das Maß M1 und/oder das Maß M2 und/oder das Maß M3 einer vorgegebenen Bedingung nicht genügt. Wird nämlich das Endgerät ENDG wieder
Die Information wird bevorzugt über eine Anzeige ausgegeben. Eine solche Anzeige erfolgt insbesondere in Form eines Balkens, welcher, wenn er voll ausgefüllt ist, eine maximale Genauigkeit anzeigt, und welcher, wenn er komplett leer ist, eine sehr geringe Genauigkeit symbolisiert. Weiterhin bevorzugt wird die Genauigkeit durch einen
Farbverlauf signalisiert.
Vorteilhaft wird somit die Genauigkeit der Positionsermittlung und Orientierungsermittlung des Endgeräts, und damit der Qualität und/oder der Zuverlässigkeit der augmentierten Darstellung des realen Objekts, erhöht.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren das reale Objekt von einer Kamera des Endgeräts ENDG aktuell aufgenommen und auf einem Display des Endgeräts ENDG dargestellt, und das virtuelle Objekt auf dem Display dem realen Objekt kontaktanalog überlagert dargestellt.
Hierdurch wird das reale Objekt als Kamerabild auf dem Display des Endgeräts ENDG dargestellt, was vorteilhaft die Zuordnung zum realen Objekt in der Realität selbst zum auf dem Endgerät dargestellten realen Objekt vereinfacht.
Ein weiterer Aspekt der Erfindung betrifft ein System zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät ENDG. Das vorgeschlagene System umfasst eine Halterung HALT in einem Fahrzeug CAR zum Einstecken des Endgeräts ENDG in die Halterung HALT, eine bevorzugt im Fahrzeug CAR angeordnete Einheit E1 zum Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR, eine bevorzugt im Fahrzeug CAR angeordnete Einheit E2 zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die
Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position PCAR und der absoluten Orientierung OCAR, eine bevorzugt im Endgerät ENDG angeordnete Einheit E3 zum Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG nach einer Entnahme des Endgeräts ENDG aus der Halterung HALT gegenüber der aktuell ermittelten absoluten Position PCAR und der absoluten Orientierung OCAR, eine bevorzugt im Endgerät ENDG angeordnete Einheit E4 zum Ermitteln einer absoluten Position
Figure imgf000011_0001
und einer absoluten Orientierung OENDG, abs des Endgeräts ENDG aus der ermittelten relativen Position PENDG, rei und der relativen Orientierung OENDG, rei, wobei das Endgerät ENDG derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position
Figure imgf000011_0002
und der absoluten Orientierung
Figure imgf000011_0003
ein kontaktanaloges Darstellen eines dem realen Objekt überlagerten virtuellen Objekts auf dem Endgerät ENDG erfolgt.
Gemäß einer vorteilhaften Ausführungsform weist die Einheit E3 mindestens eines der folgenden Elemente auf: ein Kamerasystem, eingerichtet zum Ermitteln einer relativen Orientierung und/oder einer relativen Position bei Bewegung des Endgeräts ENDG zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera erfassten Umgebung, einen Kreiselsensor, einen rotatorischen Beschleunigungssensor, einen translationalen Beschleunigungssensor.
Es versteht sich von selbst, dass die Einheiten E1 bis E4 je nach Anordnung auf gemeinsamen Steuergeräten betrieben werden können, beispielsweise sind bevorzugt die Einheiten E1 und E2 in einem Steuergerät im Fahrzeug und die Einheiten E3 und E4 in einem Steuergerät des Endgerät ENDG integriert.
Gemäß einer weiteren vorteilhaften Ausführungsform ist das Endgerät ENDG eines der folgenden Elemente: ein Smartphone, ein Tablet-Computer, eine Brille für virtuelle Realität, eine Brille für augmentierte Realität, oder eine Datenbrille.
Im Unterschied zur virtuellen Realität, bei der die tatsächliche Umgebung zumindest weitestgehend ausgeblendet wird, bedient sich die augmentierte Realität der tatsächlichen Umgebung und stellt diese wahrheitsgetreu, jedoch erweitert mit
Zusatzinformation und mit überlagerten virtuellen Objekten, dar.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 ein System zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät gemäß einem ersten Ausführungsbeispiel der Erfindung,
Fig. 2 das mobile Endgerät des Systems gemäß dem ersten Ausführungsbeispiel der Erfindung,
Fig. 3 das Fahrzeug mit der Halterung für das mobile Endgerät gemäß dem ersten
Ausführungsbeispiel der Erfindung,
Fig. 4 ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem
mobilen Endgerät gemäß einem weiteren Ausführungsbeispiel der Erfindung, und
Fig. 5 ein mobiles Endgerät in zwei Positionen und Orientierungen beim Ausführen des Verfahrens des Ausführungsbeispiels der Fig. 4.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein System zum augmentierten Darstellen eines Kirchturms 50 auf einem mobilen Endgerät ENDG 10, einem Smartphone. Der Kirchturm 50 befindet sich in einer Umgebung eines Fahrzeugs 1 . Das Smartphone 10 selbst ist in Fig. 2 näher gezeigt. Die folgende Erörterung bezieht sich somit auf Fig. 1 und Fig. 2 gleichermaßen. Das System weist folgende Elemente auf: eine Halterung HALT 3 in einem Fahrzeug CAR 1 zum Einstecken des Smartphones ENDG 10 in die Halterung HALT 3, eine im Fahrzeug CAR 1 angeordnete Einheit E1 5 zum Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR 1 , eine im Fahrzeug CAR 1 angeordnete Einheit E2 7 zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Smartphones ENDG 10 aus der absoluten Position PCAR und der absoluten Orientierung OCAR, eine im Smartphone ENDG 10 angeordnete Einheit E3 16 zum Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Smartphones ENDG 10 nach einer Entnahme des Smartphones ENDG 10 aus der Halterung HALT 3 gegenüber der aktuell ermittelten absoluten Position PCAR und der absoluten Orientierung OCAR, eine im Smartphone ENDG 10 angeordnete Einheit E4 18 zum Ermitteln einer absoluten Position
Figure imgf000013_0001
und einer absoluten Orientierung OENDG, abs des Smartphones ENDG 10 aus der ermittelten relativen Position PENDG, rei u nd der relativen Orientierung OENDG, rei, wobei das Smartphone ENDG 10 derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position
Figure imgf000013_0002
und der absoluten Orientierung
Figure imgf000013_0003
ein kontaktanaloges Darstellen eines dem Kirchturm 50 überlagerten virtuellen Objekts 52, einem Kreuzsymbol, auf dem Smartphone ENDG 10 erfolgt.
Die Einheit E3 16 weist dabei ein Kamerasystem zum Ermitteln einer relativen
Orientierung und einer relativen Position bei Bewegung des Endgeräts ENDG 10 zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera 12 erfassten Umgebung auf, sowie einen Kreiselsensor, einen rotatorischen
Beschleunigungssensor und einen translationalen Beschleunigungssensor.
Fig. 2 zeigt das Endgerät ENDG 10, nämlich ein Smartphone in zwei Zuständen. In Fig. 2a erfolgt die Darstellung des Kirchturms 50 ohne die kontaktanaloge Darstellung des überlagerten virtuellen Objekts 52, dem Kreuz. Im Gegensatz dazu zeigt Fig. 2b die Darstellung des Kirchturms 50 mit der kontaktanalogen Darstellung des überlagerten virtuellen Objekts 52, dem Kreuz.
Fig. 3 zeigt das Fahrzeug 1 mit einer Halterung HALT 3 des Fahrzeugs CAR 1 zum Einstecken des Endgeräts ENDG 10. Das Fahrzeug 1 weist weiterhin eine im Fahrzeug CAR 1 angeordnete Einheit E1 5 zum Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR 1 auf, sowie eine im Fahrzeug CAR 1 angeordnete Einheit E2 7 zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Smartphones ENDG 10 aus der absoluten Position PCAR und der absoluten Orientierung OCAR.
Fig. 4 zeigt ein entsprechendes Verfahren zum augmentierten Darstellen eines realen Objekts 50 auf einem mobilen Endgerät ENDG 10, welches bevorzugt ein Smartphone ist. Das Verfahren weist dabei die folgenden Schritte auf: Einstecken S1 des Endgeräts ENDG 10 in eine Halterung HALT 3 eines Fahrzeugs CAR 1 , Ermitteln S2 einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR 1 , Ermitteln S3 einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die
Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Endgeräts ENDG 10 aus der absoluten Position PCAR und der absoluten Orientierung OCAR, Entnehmen S4 des Endgeräts ENDG 10 aus der Halterung HALT 3, Ermitteln S5 einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG 10 gegenüber der aktuell ermittelten absoluten Position PCAR und der aktuell ermittelten absoluten
Orientierung OCAR, Ermitteln S6 einer absoluten Position
Figure imgf000014_0001
und einer absoluten Orientierung
Figure imgf000014_0002
des Endgeräts ENDG 10 aus der ermittelten relativen Position PENDG, rei und der relativen Orientierung OENDG, rei, und auf Basis der ermittelten absoluten Position
Figure imgf000014_0003
und der absoluten Orientierung kontaktanaloges Darstellen S7 eines dem realen Objekt 50 überlagerten virtuellen Objekts 52 auf dem Endgerät ENDG 10, wobei das virtuelle Objekt bevorzugt eine Grafik, ein Bild, oder ein Text ist.
Weiterhin wird in dem Verfahren die relative Position PENDG, rei und die relative Orientierung OENDG, rei auf Basis von Messdaten von Beschleunigungssensoren und von einer
Positionsermittlungseinheit zum Empfangen von Signalen von GPS-Satelliten
(NAVSTAR-GPS, GLONASS, Galileo, BeiDou, IRNSS/NAVIC) im Endgerät ENDG 10 ermittelt. Die Information aus der Positionsermittlungseinheit bietet gleichzeitig eine absolute Position
Figure imgf000014_0004
die mit der aus der relativen Position PENDG, rei des Endgeräts ENDG 10 und der absoluten Position PCAR des Fahrzeugs CAR 1 ermittelten absoluten Position fusioniert wird. Des Weiteren wird das reale Objekt von einer Kamera 12 des Endgeräts ENDG 10 aktuell aufgenommen und auf einem Display 14 des Endgeräts ENDG 10 dargestellt, das mit einem virtuellen Objekt 52 auf dem Display 14 kontaktanalog überlagert dargestellt wird.
Fig. 5 zeigt eine Koordinatensystem mit den Achsen x, y und z, welche die Orientierung des in der Halterung 3 des Fahrzeugs 1 eingesteckten Endgeräts ENDG 10 beschreibt. Nach dem Entnehmen S4 des Endgeräts ENDG 10 aus der Halterung HALT 3 bewegt ein Benutzer das Endgerät 10 in eine andere Position und in eine andere Orientierung relativ zum Fahrzeug 1 . Hierdurch entsteht ein neues lokales Bezugssystem, das bevorzugt über Eulerwinkel beschrieben wird. Die Definition der Drehreihenfolge der einzelnen Drehwinkel bestimmt dabei die Einträge einer 3x3 dimensionalen Transformationsmatrix. Im gezeigten Beispiel der Fig. 5 ist diese Reihenfolge die Drehung um die Hochachse z um einen Winkel a1 - die den Azimut bestimmt. Es folgt die Drehung um einen
Inklinationswinkel a2, um schließlich das Endgerät 10 um einen Rollwinkel a3 um die neu erhaltene Längsachse X des Endgeräts 10 zu drehen. Diese Drehreihenfolge in der Berechnung ist beliebig änderbar, sofern die Berechnung der neuen Orientierung, bevorzugt durch die Winkelbeschleunigungssensoren, mit der zuvor definierten
Reihenfolge konsistent erfolgt.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele
eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der
Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende
Erläuterungen in der Beschreibung, definiert wird.

Claims

Patentansprüche
1 . Verfahren zum augmentierten Darstellen eines realen Objekts (50) auf einem
mobilen Endgerät ENDG (10), aufweisend die Schritte:
Einstecken (S1 ) des Endgeräts ENDG (10) in eine Halterung HALT (3) eines Fahrzeugs CAR (1 ),
Ermitteln (S2) einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR (1 ),
Ermitteln (S3) einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT (3) des Fahrzeugs CAR (1 ) eingesteckten Endgeräts ENDG (10) aus der absoluten Position PCAR und der absoluten Orientierung OCAR,
Entnehmen (S4) des Endgeräts ENDG (10) aus der Halterung HALT (3), Ermitteln (S5) einer relativen Position
Figure imgf000016_0001
und einer relativen Orientierung OENDG, rei des Endgeräts ENDG (10) gegenüber der aktuell ermittelten absoluten Position PCAR und der aktuell ermittelten absoluten Orientierung OCAR, Ermitteln (S6) einer absoluten Position
Figure imgf000016_0002
und einer absoluten Orientierung OENDG, abs des Endgeräts ENDG (10) aus der ermittelten relativen Position PENDG.rei und der relativen Orientierung OENDG, rei, und
auf Basis der ermittelten absoluten Position
Figure imgf000016_0003
und der absoluten Orientierung
Figure imgf000016_0004
kontaktanaloges Darstellen (S7) eines dem realen Objekt (50) überlagerten virtuellen Objekts (52) auf dem Endgerät ENDG (10).
2. Verfahren nach Anspruch 1 ,
beim dem die relative Position PENDG, rei und die relative Orientierung OENDG, rei auf Basis von Messdaten von Beschleunigungssensoren und/oder von einem
Magnetfeldsensor und/oder von einem Kamerasensor und/oder von einer
Positionsermittlungseinheit im Endgerät ENDG (10) ermittelt werden. Verfahren nach einem der Ansprüche 1 bis 2,
bei dem die absolute Position
Figure imgf000017_0001
und/oder die absolute Orientierung
OENDG.abs unter Berücksichtigung von Messdaten eines Magnetfeldsensors und/oder einer Positionsermittlungseinheit im Endgerät ENDG (10) ermittelt werden.
Verfahren nach einem der Ansprüche 1 bis 3,
bei dem ein Maß M1 für die aktuelle Genauigkeit der absoluten Position
Figure imgf000017_0002
und/oder ein Maß M2 für die aktuelle Genauigkeit der absoluten Orientierung O- ENDG.abs und/oder ein Maß M3 für eine Gesamtgenauigkeit von Position
Figure imgf000017_0003
und Orientierung
Figure imgf000017_0004
ermittelt und ausgegeben wird.
Verfahren nach Anspruch 4,
bei dem das Maß M1 und/oder das Maß M2 und/oder das Maß M3 abhängig von der Zeit, die seit dem Entnehmen des Endgeräts ENDG (10) aus der Halterung vergangen ist, und/oder abhängig von einer Art und Häufigkeit der Bewegung des Endgeräts ENDG (10) während dieser Zeit, ermittelt wird.
Verfahren nach Anspruch 4 oder 5,
bei dem eine Information, die als Aufforderung dient, das Endgerät ENDG (10) in die Halterung HALT (3) einzustecken, dann ausgegeben wird, wenn das Maß M1 und/oder das Maß M2 und/oder das Maß M3 einer vorgegebenen Bedingung nicht genügt.
Verfahren nach einem der Ansprüche 1 bis 6,
bei dem das reale Objekt von einer Kamera (12) des Endgeräts ENDG (10) aktuell aufgenommen und auf einem Display (14) des Endgeräts ENDG (10) dargestellt wird, und das virtuelle Objekt (52) auf dem Display (14) als dem realen Objekt (50) kontaktanalog überlagert dargestellt wird.
System zum augmentierten Darstellen eines realen Objekts (50) auf einem mobilen Endgerät ENDG (10), umfassend:
eine Halterung HALT (3) in einem Fahrzeug CAR (1 ) zum Einstecken des
Endgeräts ENDG (10) in die Halterung HALT (3), eine Einheit E1 (5) zum Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR (1 ),
eine Einheit E2 (7) zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT (3) des Fahrzeugs CAR (1 ) eingesteckten Endgeräts ENDG (10) aus der absoluten Position PCAR und der absoluten Orientierung OCAR,
eine Einheit E3 (16) zum Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG (10) nach einer Entnahme des Endgeräts ENDG (10) aus der Halterung HALT (3) gegenüber der aktuell ermittelten absoluten Position PCAR und der absoluten Orientierung OCAR, eine Einheit E4 (18) zum Ermitteln einer absoluten Position
Figure imgf000018_0001
und einer absoluten Orientierung
Figure imgf000018_0002
des Endgeräts ENDG (10) aus der ermittelten relativen Position PENDG, rei und der relativen Orientierung OENDG, rei, wobei das Endgerät ENDG (10) derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position
Figure imgf000018_0003
und der absoluten Orientierung OENDG, abs ein kontaktanaloges Darstellen eines dem realen Objekt (50) überlagerten virtuellen Objekts (52) auf dem Endgerät ENDG (10) erfolgt.
9. System nach Anspruch 8,
bei dem die Einheit E3 (16) mindestens eines der folgenden Elemente aufweist:
- ein Kamerasystem, eingerichtet zum Ermitteln einer relativen Orientierung und/oder einer relativen Position bei Bewegung des Endgeräts ENDG (10) zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera (12) erfassten Umgebung,
- einen Kreiselsensor,
- einen rotatorischen Beschleunigungssensor,
- einen translationalen Beschleunigungssensor.
10. System nach Anspruch 8 oder 9,
bei dem das Endgerät ENDG (10) eines der folgenden Elemente ist:
- ein Smartphone,
- ein Tablet-Computer,
- eine Brille für virtuelle Realität,
- eine Brille für augmentierte Realität, oder
- eine Datenbrille.
PCT/EP2018/050108 2017-01-14 2018-01-03 Augmentiertes darstellen eines objekts durch ein mobiles endgerät in einem fahrzeug WO2018130439A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017000311.4A DE102017000311B4 (de) 2017-01-14 2017-01-14 Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät sowie entsprechendes System
DE102017000311.4 2017-01-14

Publications (1)

Publication Number Publication Date
WO2018130439A1 true WO2018130439A1 (de) 2018-07-19

Family

ID=60937765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/050108 WO2018130439A1 (de) 2017-01-14 2018-01-03 Augmentiertes darstellen eines objekts durch ein mobiles endgerät in einem fahrzeug

Country Status (2)

Country Link
DE (1) DE102017000311B4 (de)
WO (1) WO2018130439A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129233B4 (de) * 2018-11-20 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines mobilen Geräts an Bord eines Fahrzeugs und mobiles Gerät zum Betrieb an Bord eines Fahrzeugs sowie Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100535A1 (en) * 2010-02-12 2011-08-18 Apple Inc. Augmented reality maps
EP2503288A2 (de) * 2011-03-23 2012-09-26 Trusted Positioning Inc. Verfahren zur Lagen- und Fehlausrichtungseinschätzung für uneingeschränkte tragbare Navigation
DE102013021978A1 (de) 2013-12-20 2014-08-14 Daimler Ag Verfahren und mobiles Endgerät zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder... eines realen Objekts

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009004435B4 (de) 2009-01-13 2019-04-04 Volkswagen Ag Bediensystem für ein externes Gerät in einem Fahrzeug und Verfahren zum Bedienen eines externen Geräts in einem Fahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100535A1 (en) * 2010-02-12 2011-08-18 Apple Inc. Augmented reality maps
EP2503288A2 (de) * 2011-03-23 2012-09-26 Trusted Positioning Inc. Verfahren zur Lagen- und Fehlausrichtungseinschätzung für uneingeschränkte tragbare Navigation
DE102013021978A1 (de) 2013-12-20 2014-08-14 Daimler Ag Verfahren und mobiles Endgerät zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder... eines realen Objekts

Also Published As

Publication number Publication date
DE102017000311A1 (de) 2018-07-19
DE102017000311B4 (de) 2019-10-10

Similar Documents

Publication Publication Date Title
DE112009001766B4 (de) Systeme zur Erfassung und Analyse von Orts- und Wegeplan-Erzeugungsdaten
EP2742323B1 (de) Vermessungsgerät und verfahren mit einer auf der ausrichtung einer fernbedieneinheit basierenden und skalierbaren anzielfunktionalität
DE4134508C2 (de)
DE112008001944B4 (de) Navigationssystem zum Bereitstellen von astronomischen und terrestrischen Informationen
DE202005021607U1 (de) Navigationsvorrichtung mit Kamerainformation
DE102014219326A1 (de) Sensorfusion mit Smartphone im Fahrzeug
DE10308525A1 (de) Vermessungssystem
EP2930466B1 (de) Handhaltbares Beobachtungsgerät mit einem digitalen Magnetkompass
DE69815940T2 (de) Verfahren und Anordnung zur Informationsdarstellung in Form einer Landkarte für Fahrzeugsnavigationsgeräte
DE102006033147A1 (de) Überwachungskamera, Verfahren zur Kalibrierung der Überwachungskamera sowie Verwendung der Überwachungskamera
WO2009033935A2 (de) Anordnung zum erfassen einer umgebung
EP2269002A2 (de) Verfahren zur trägheits-navigation unter wasser
DE102010003851A1 (de) Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug
DE60217218T2 (de) Verfahren und Gerät für GPS, Navigationssystem und Computerprogramm
CN106023207A (zh) 一种基于移动测量系统双全景的城市部件采集方法
DE102017000311B4 (de) Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät sowie entsprechendes System
EP3728000A1 (de) Verfahren zur mobilen einparkhilfe
DE102006051539A1 (de) Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen
DE102018106039B4 (de) Bildreproduktionsvorrichtung, bildreproduktionssystem und bildreproduktionsverfahren
DE102019131640A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102011003154B4 (de) Suchgerät sowie Verfahren zum Erzeugen einer Aktualisierten Richtungsdarstellung der Suchrichtung
DE102016009332A1 (de) Parkassistenzsystem zum Auswählen eines Parkplatzes und zum augmentierten Darstellen des ausgewählten Parkplatzes
DE102018126835A1 (de) Elektronisch steuerbare, mehrachsige, rotatorisch und/oder translatorisch bewegbare Zubehörhalterung für Fahrzeuge
DE602004012913T2 (de) Hilfevorrichtung zum Überwinden von Hindernissen
EP0847518B1 (de) Verfahren zur horizontstabilisierung von magnetkompassen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18700090

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18700090

Country of ref document: EP

Kind code of ref document: A1