WO2019149874A1 - Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille - Google Patents

Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille Download PDF

Info

Publication number
WO2019149874A1
WO2019149874A1 PCT/EP2019/052478 EP2019052478W WO2019149874A1 WO 2019149874 A1 WO2019149874 A1 WO 2019149874A1 EP 2019052478 W EP2019052478 W EP 2019052478W WO 2019149874 A1 WO2019149874 A1 WO 2019149874A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
indication
movement
information
spectacle
Prior art date
Application number
PCT/EP2019/052478
Other languages
English (en)
French (fr)
Inventor
Karsten Knebel
Jörg Preißinger
Wolfgang HABERL
Alan Keim
Philipp Tiefenbacher
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2019149874A1 publication Critical patent/WO2019149874A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • B60K35/81—
    • B60K35/85—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • B60K2360/149—
    • B60K2360/167—
    • B60K2360/177—
    • B60K2360/21—
    • B60K2360/334—
    • B60K2360/589—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to data glasses, in particular for use in a motor vehicle.
  • the invention further relates to measures for providing object information about objects located in the surroundings of the motor vehicle.
  • Data glasses also known as head-mounted displays, are known which, with the aid of a display device, can display an image on one or two display surfaces in the field of vision of the wearer of the data glasses.
  • the display surfaces may correspond to reflective surfaces which direct images into the eye of the wearer of the data glasses.
  • the viewing apertures of the data glasses are transparent, so that the data glasses can be used to perceive the real environment in the usual way.
  • the display surfaces are located in the viewing apertures, so that information to be displayed, such as text, symbols, graphics, video displays and the like, can be superimposed on the perception of the environment.
  • the information is usually presented to the wearer of the data glasses in a contact-analogous manner, ie shown to be superimposed as object information on a specific assigned object in the real environment or oriented thereon, or in a specific orientation of the data glasses or the object information to be displayed. whose bearer is displayed.
  • the contact-analogous object information can be represented as being perspectively correct in relation to the object in the real environment, ie creating the illusion that the object of the real environment has actually been supplemented by the additional feature of the visual object information.
  • the viewing direction of the user is firmly associated with the pose of the data glasses their pose, ie the 3D position and the 3D orientation of the data glasses.
  • a pose detection unit may be provided in the data glasses.
  • the pose detection unit typically includes a camera and computing device, e.g. in the form of a microprocessor. With the aid of the camera, images of the surroundings of the wearer of the data glasses can be determined based on deposited images or structures of the vehicle interior, the pose of the data glasses in the vehicle interior. This process is also called tracking.
  • a device for determining the pose of a data goggles which comprises a display and a camera.
  • the device is designed to take pictures of the surroundings of the data glasses with the aid of the camera, to detect the image of a stored and predefined area of the surroundings in the recordings of the camera, to detect a feature in the recognized image of the area and to reflect the pose of the data glasses Consideration of the particular feature in the recordings.
  • the pose of data glasses can also be determined by an external pose detection unit, in which an interior camera captures the head of the wearer of the data glasses and, by evaluating the camera image, determines either the pose of the head and from this the pose of the data glasses is derived or the pose of the data glasses is determined directly.
  • an external pose detection unit in which an interior camera captures the head of the wearer of the data glasses and, by evaluating the camera image, determines either the pose of the head and from this the pose of the data glasses is derived or the pose of the data glasses is determined directly.
  • an external pose detection unit in which an interior camera captures the head of the wearer of the data glasses and, by evaluating the camera image, determines either the pose of the head and from this the pose of the data glasses is derived or the pose of the data glasses is determined directly.
  • Pure camera-based racking processes are also highly dependent on the exposure situation in the vehicle interior and require additional precautions and additional sensors for operation at night and in strong sunlight.
  • a position determination unit that uses an acceleration sensor in the data glasses
  • the acceleration sensors only a total acceleration relative to the environment / environment detect and determine only movement speeds relative to the environment / environment can.
  • the movement of the data glasses relative to a vehicle coordinate system can not be determined without further ado.
  • knowledge of movements of the data glasses in relation to the vehicle coordinate system is necessary for the contact-analog representation. These can only be determined with knowledge of the vehicle acceleration, vehicle movement speed and vehicle rotation or rotation rate.
  • a head-up display for a vehicle wherein the head-up display is configured to compensate for a relative movement of the head of the driver to the head-up display to a relative movement between reduce the virtual image and the driver's head.
  • the Relative motion between the projection unit and a driver's head is detected using a gyro sensor.
  • a method for operating a display system with data glasses in a motor vehicle comprising the following steps:
  • Detecting eyeglass movement information including an eyeglass movement indication and a time stamp corresponding to a time of detecting the relative movement of the data eyewear with respect to the vehicle environment indicated by the eyeglass movement indication through the data glasses;
  • Receiving vehicle movement information consisting of a vehicle movement indication and a time stamp corresponding to a time of detecting the relative movement of the motor vehicle with respect to the vehicle environment indicated by the vehicle movement indication; Determining a current eyeglass position indication in the data eyewear depending on the eyeglass position information, the vehicle movement information, and the eyeglass movement information;
  • the above method of operating the data glasses is for determining the current spectacle position indication corresponding to an absolute pose of the data glasses with respect to a vehicle coordinate system through a combination of a spectacle-based racking method and a vehicle-mounted racking method.
  • computationally intensive parts in the vehicle system and the data fusion in the data goggles are realized in order to achieve the lowest possible latencies for the provision of the current spectacle position indication in the data goggles.
  • the relative vehicle movement data and the relative spectacle motion data are thereby offset with low latency and high frequency to a relative motion specification in the vehicle-fixed coordinate system and then combined with the provided with higher latency absolute spectacle position indication (based on the vehicle-fixed coordinate system) of an external Posenerkennungs stimulate.
  • the provision of the camera system in the pose detection device of the display system is usually no or only limited additional effort, since such a camera system for driver condition monitoring is already used in many ways. This results in high synergies between the camera system of the driver condition monitoring and a display system for operating a data glasses.
  • the spectacle movement indication can be determined from a detected acceleration of the data spectacles in one or more spatial directions and / or about one or more pivot axes and / or the vehicle movement indication from a detected acceleration of the motor vehicle in one or more spatial directions and / or be determined by one or more pivot axes.
  • the spectacle position specification is determined by means of a pose detection device, which in particular comprises a camera system.
  • the current spectacle position indication may be determined depending on the spectacle position indication of the spectacle position information and depending on a progression of a relative motion indication between the time stamp of the spectacle position indication and a current point in time, wherein the relative motion indication indicates a relative movement of the data spectacles with respect to a vehicle-fixed coordinate system, wherein the History of the relative movement indication is determined by the vehicle movement indication of the vehicle movement information and the spectacle movement information of the spectacle movement information.
  • the course of the relative movement indication can be determined by prediction of the vehicle movement indication at the relevant calculation time point at each calculation time and the difference between the predicted vehicle movement specification and the spectacle movement specification.
  • the vehicle movement indication is predicated on the relevant calculation time point by extrapolation, a linear Kalman filter or an extended Kalman filter or by a given motion model.
  • the prediction of the predicted vehicle motion data for the individual spatial directions and pivot axes can be carried out differently, in particular speed, acceleration, rate of rotation, wheel speed information, brake information, steering angle, ESC, suspension adjustment of the motor vehicle and / or detections of chassis sensors that provide information about a road surface, can be considered.
  • the current eyeglass position indication may be corrected by: starting from the time of the time stamp of the received spectacle position information, the current spectacle position indication is determined in accordance with the relative motion indication, in particular by using a linear Kalman filter or extended Kalman filter.
  • the current spectacle position specification can be smoothed, whereby in particular the motion trajectories of the data spectacles 3 determined by the course of the spectacle position statements are determined by means of a low-pass filter, a linear Kalman filter or an Extended Kalman filters are smoothed.
  • smart glasses are provided in a display system in a motor vehicle having a control unit configured to:
  • the time stamp corresponds to a time of detection of the relative movement of the data spectacles relative to the vehicle environment indicated by the spectacle movement specification
  • receive eyeglass position information including an eyeglass position indication and a timestamp, wherein the timestamp corresponds to a time of acquiring the absolute pose of the data eyewear indicated by the eyeglass position indication with respect to a vehicle coordinate system
  • vehicle movement information including a vehicle movement indication and a time stamp, the time stamp corresponding to a time of detecting the relative movement of the motor vehicle relative to the vehicle environment indicated by the vehicle movement indication;
  • a current spectacle position indication as a function of the spectacle position information, the vehicle movement information and the spectacle movement information
  • a display system with the above data glasses and a vehicle-mounted pose detection device is provided, which is formed is to provide the eyeglass position information and the vehicle movement information.
  • Figure 1 is a schematic representation of a display system with a
  • Smart glasses and a pose detection device for use in a motor vehicle
  • FIG. 2 shows a flowchart for illustrating a method for
  • FIG. 1 shows a schematic representation of a display system 1, in particular for use in a motor vehicle.
  • the display system 1 comprises a
  • Posenerkennungs worn 2 which is in communication link 4 with a data glasses 3.
  • the communication link 4 is formed as a data transmission channel, e.g. in the form of a wireless communication link or a wired communication link.
  • the communication link 4 is able to handle any type of data and information between the
  • the communication link 4 may for example be based on WiFi, Bluetooth, Bluetooth low energy or a comparable standardized radio protocol.
  • the data glasses 3 comprise two transparent viewing windows 32, which are enclosed in a frame 31 in a manner known per se.
  • the frame 31 is provided with eyeglass temple 33, so that the data glasses 3 can be worn on the head of a user in a conventional manner.
  • One or both lenses 32 are further provided with a transparent display surface 35 through which a display device for displaying virtual objects into the eye of the wearer of the data glasses by means of a suitable device, such as a display device 36 arranged on the frame 31 can be projected.
  • the display device 36 may comprise a microprocessor or a comparable arithmetic unit and a display unit, such as a projection device or the like.
  • the display unit may be configured to direct the electronically generated display image onto the display surface 35 and image / display there.
  • the electronically generated image can superimpose the real environment perceivable by the display surface 35.
  • information such as a text, a symbol, a video information, a graphic or the like can be displayed on one or both display surfaces 35.
  • the data glasses 3 can be worn like a typical visual aid on the user's head, the data glasses 3 rests with the frame 31 on the nose of the user and the brackets 33 abut the side of the user's head.
  • the viewing direction of the user in the straight-ahead direction then occurs through the viewing windows 32 essentially through the transparent display surfaces 35, so that the viewing direction of the user corresponds to the alignment of the data glasses 3 or, for example.
  • a calibration process it is assumed that the position of the data glasses 3 is fixed and known relative to the user's eyes. At first use, this can be done a calibration process by the user of the data glasses 3, in which the relative pose of the data glasses 3 is determined relative to the head of the user.
  • the data glasses 3 may be provided with a control unit 37.
  • the control unit 37 may be designed separately or be formed together with the microprocessor of the display device 36.
  • the control unit 37 may be suitably configured to perform or support data glasses functions and functions of the display system 1.
  • the pose detection device 2 can be in communication with the data glasses 3 To transmit display information regarding contact analog or non-contact analog to be displayed virtual objects to the data glasses 3.
  • the display information defines the position and representation of the virtual objects with respect to the motor vehicle, ie in a vehicle coordinate system (reference system of the motor vehicle).
  • control unit 37 may perform a pose detection function in the form of a racking process to detect a pose of the head or data glasses 3 in a vehicle interior.
  • the pose of a data goggle 3 herein designates the spatial position of the data goggles 3 in the vehicle coordinate system as well as their three-dimensional orientation in space.
  • the pose of the data glasses 3 represents the viewing direction of the user and his field of vision, since the data glasses 3 has a fixed relative position at the head of the user.
  • the data glasses 3 comprise an intertial sensor 38, which preferably determines accelerations of the data glasses 3 in three spatial directions and angular accelerations or angular velocities of a three different pivot axes.
  • the accelerations as well as angular accelerations or angular velocities are combined as spectacle movement data and provided to the control unit 37.
  • a communication unit 39 may be provided which enables communication with the pose detection device 2.
  • the pose detection device 2 can be part of a vehicle assistance system and provided in particular stationary in the motor vehicle.
  • the pose detection device 2 can be equipped with a communication unit 21, which enables the communication connection 4 between data glasses 3 and pose detection device 2.
  • the pose detection device 2 can furthermore be provided with a camera system 22 which has one or more cameras which are directed at the driver of the motor vehicle and / or at other occupants of the motor vehicle or generally in the interior of the motor vehicle.
  • the one or more cameras can z.
  • RGB, IR, Fisheye camera, a dynamic vision sensor and the like As an RGB, IR, Fisheye camera, a dynamic vision sensor and the like.
  • the pose detection device 2 in Motor vehicle alternatively or in addition to the camera system 22 may also be designed with an alternative tracking system for determining poses, such as a magnetic T racker, an acoustic T racker or a depth sensor based T racker.
  • the camera image of the vehicle interior camera 22 can be evaluated in order to determine the absolute pose of at least one data goggles 3 located in the vehicle interior and to provide these as an absolute pose information in the pose detection device 2.
  • the processor unit 23 is programmed with corresponding image processing algorithms for extracting the image position of the user's head or the data glasses 3 from the acquired camera images, and the pose, orientation and position of the camera in question, the pose, i. determine the position and orientation of the data glasses 3 based on the vehicle coordinate system in the form of the absolute Pozos statement.
  • the head pose of the user of the data glasses 3 can be detected from the camera images by means of a known head-racking method.
  • the absolute pose of the data goggles 3 can then be determined by taking into account the relative pose of the data goggles 3 to the head of the wearer obtained in the calibration process in a manner known per se.
  • the spectacle pose of the data glasses 3 can be determined directly via an object-racking method of the image processing algorithm.
  • CAD data and / or visual features of the data goggles 3 can be used to detect a contour of the data goggles 3 on the camera images using the image processing algorithm and to determine therefrom the goggle pose.
  • the search area may be restricted by first searching for head shapes in the camera images and then searching the areas of the camera image in which head shapes have been found on subregions in which the glasses are worn on the head , is limited.
  • detectable markers markings easily recognizable by image processing
  • the markers may in particular be on the frame 31 of the data glasses 3 or on the viewing windows 32 or else holograms in the viewing windows 32.
  • the camera system 22 can also be used to determine the relative pose of the data glasses 3 with respect to the eyes of the bearer of the data glasses 3 by detecting the user's eye position.
  • the camera system 22 can be used in whole or in part for other vehicle assistance functions. For example, a driver condition monitoring, such. As a fatigue detection and the like, using the camera system 22 used for detecting the absolute pose of the data glasses 3.
  • the pose detection device 2 for supporting the determination of the pose in the data glasses 3 can also be provided separately from assistance systems installed in the motor vehicle.
  • the time stamp of the image recorded by the camera system 22 is combined in the processor unit 23 together with the absolute pose information (spectacle position indication) to form absolute pose information.
  • the pose detection device 2 comprises a vehicle acceleration sensor 24 or is provided with such a z. B. connected via the CAN bus to obtain a vehicle acceleration with accelerations in three spatial directions and angular acceleration or angular velocities about three pivot axes.
  • a vehicle movement indication corresponds to or is generated from the vehicle acceleration. The vehicle movement indication is combined with the time stamp of the detection timing to be assigned with vehicle motion information.
  • the communication unit 21 is configured to transmit the absolute position information as eyeglass position information and the vehicle movement information via the communication connection 4 at appropriate times or as soon as available to the data glasses 3.
  • the spectacle movement information and the vehicle movement information are now offset against one another, so that a relative movement specification of the data spectacles 3 with respect to a vehicle-fixed coordinate system is determined.
  • the relative movement indication and the relative pose specification of the data glasses 3 are related to a vehicle coordinate system.
  • the relative movement information is determined according to the timestamp of the available spectacle movement information and the available vehicle movement information.
  • the relative movement information of the data glasses 3 are determined based on a predicted vehicle movement.
  • the vehicle movement is predicted from the most recently obtained vehicle movement data by extrapolation or comparable methods, in order thus to predetermine a time of the last available most recent spectacle movement indication
  • the relative movement specification for the data glasses 3 can then be determined. This is permissible because vehicle movements are subject to slower or slower changes compared to head movements.
  • Predictions of vehicle motions may be made based on predetermined motion models, a linear Kalman filter and / or an extended Kalman filter or the like. The predictions make it possible to obtain the most current possible value of the relative pose information for the data glasses.
  • the vehicle movement information for the individual spatial directions and pivot axes can be treated differently, such as cornering, braking and acceleration of the vehicle for a Prolonged period can be predicted in the future as the deflections in the vertical direction, which can occur for example due to potholes or vibrations of the motor vehicle.
  • the vehicle movement indication can be corrected or specified by further vehicle sensors, the further vehicle sensors permitting statements or forecasts about the vehicle's own motion. These are in particular speed, acceleration, wheel speed information, brake information, steering angle, ESC, suspension settings and other suspension sensors, the z. G. Potholes and the like, as well as vehicle type information such as weight, wheelbase, and other information useful for predicting vehicle motion from the sensor values. These can be taken into account in a sensor data fusion either by the pose detection device 2 or by the data glasses 3.
  • An absolute pose specification of the data glasses 3, which is provided for a past time, can be added to the relative pose indication, which indicates a pose change since the previous time, by adding to obtain a current pose of the data glasses 3.
  • the transmission of the vehicle movement data to the data goggles 3 may include the vehicle acceleration and may also include further movement information determined therefrom from the vehicle acceleration in the pose detection device 2.
  • information about the traveled route or map data can additionally be taken into account in an appropriate manner in order to improve the vehicle movement information determined in the pose detection device 2, in particular by curve information of the route, typical breakpoints such as traffic lights, stop signs and intersections, information on road type and road condition , current traffic information, such as. As traffic density, traffic jams and the like.
  • the curve radius is known from the map, the vehicle movement in the curve corresponding to this radius can be predicted in the future since, as a rule, it can be assumed that the motor vehicle follows the course of the road.
  • the vehicle movement information and the spectacle movement information are calibrated to one another once or repeatedly so that the exact position of their reference coordinate systems in space relative to one another is determined. In particular, this determines the position of the coordinate axes and the pivot axes relative to one another.
  • the vehicle movement information, the eyeglass position information, which is transmitted to the data glasses is combined with the eyeglass movement information acquired in the data glasses 3. This takes place in the consideration of the time stamp of the respective information, wherein upon receipt of an indication that indicates a date with respect to the current time point, a correction of the motion trajectory determined since this past time point or a correction by the relative pose specification (pose change) is undertaken. As a result, the different age of the movement information and the spectacle position indication due to the different calculation and transmission times are taken into account.
  • the current spectacle position indication can be smoothly tracked to avoid a visible jumping of a subsequently generated display on the display surfaces 35, in particular those indicated by the profile of the spectacle position indications certain movement trajectories of the data goggles 3 are smoothed by means of a low-pass filter, in order to achieve smoother gradients in indications based on the spectacle position indication on the display surface 35.
  • step S1 spectacle movement information is acquired in the data glasses 3 and stored in accordance with their respective time stamp for a specific period of time as spectacle movement information. If the spectacle movement data are latency-related, ie if there is significant latency, then in step S2 the movement information acquired by the acceleration sensor 38 of the data spectacles 3 is extrapolated in one of the ways described above in order to determine the current spectacle movement specification at a current time.
  • step S3 it is checked whether new vehicle movement information has been received from the pose detection device 2. If this is the case (alternative: yes), the method is continued with step S4, otherwise (alternative: no), the method is continued with step S5.
  • step S4 from the received vehicle motion information, the vehicle motion indication with the associated time stamp is detected and stored to provide a history of the vehicle motion information for the prediction. Subsequently, the process proceeds to step S5.
  • step S5 as described above, a corresponding prediction of the vehicle movement indication is made to the current time grid and provided as the current vehicle movement indication.
  • step S6 a relative movement information is accordingly determined from the current spectacle movement specification and the current vehicle movement specification, which indicates and stores the relative movement (pose change) of the data spectacles 3 with respect to a vehicle-fixed coordinate system. This gives a progression of the relative movement information for a given time window. Subsequently, the method is continued with step S7.
  • step S7 it is checked whether eyeglass position information has been received. If this is the case (alternative: yes), the method is continued with step S8, otherwise (alternative: no), the method is continued with step S9.
  • step S8 in the time frame corresponding to the time stamp of the received spectacle position information, the transmitted spectacle position indication is updated. At the same time, the timestamp of the spectacle position indication is saved as a fixed point in time. Subsequently, the process proceeds to step S9.
  • step S9 based on the time stamp of the spectacle position indication and the change in pose that has occurred since this time, a current spectacle position indication is determined.
  • the pose change that has occurred since then can be easily determined from the course of the relative motion indication, if necessary by integrations (e.g., by integration of incremental pose changes), in particular by linear Kalman filters or extended Kalman filters.
  • step S10 the current eyeglass position indication is used to generate the display in the data glasses 3.
  • the above method is carried out cyclically and allows the most accurate statement of poses of the data glasses 3 at a reduced computational effort in the data goggles 3 based on a support by a fixed in-vehicle pose detection device. 2
  • the above method carries out a calculation step whenever at least one of the eyeglass position information, the vehicle movement information and the eyeglass movement information contains updated values.
  • the calculation step then takes place synchronously in the moment in which the corresponding information arrives:
  • a new pose is generated, wherein the vehicle movement information and the eyeglass movement information are predicted. If there is a new vehicle movement information, the vehicle movement prediction and thus the relative position of the glasses in the vehicle is corrected. If there is a new eyeglass position information from the pose detection device 2, the pose of the data eyeglasses 3 in the motor vehicle is corrected.
  • the calculation could also be performed independently of the prefixing of an updated value and instead the calculation be carried out cyclically in accordance with a predetermined timing.

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3) in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten: Erfassen (S1) einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille (3) bezüglich der Fahrzeugumgebung entspricht; durch die Datenbrille (3); Empfangen (S7) einer Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille (3) in Bezug zu einem Fahrzeugkoordinatensystem entspricht; Empfangen (S3) einer Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht; Ermitteln (S9) einer aktuellen Brillenposenangabe in der Datenbrille (3) abhängig von der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation; Betreiben des Anzeigesystems (1) abhängig von der aktuellen Brillenposenangabe.

Description

Beschreibung
Verfahren und Vorrichtung zum Betreiben eines Anzeiqesvstems mit einer Datenbrille
Technisches Gebiet
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Bereitstellen von Objektinformationen zu in der Umgebung des Kraftfahrzeugs befindlichen Objekten.
Technischer Hintergrund
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des T rägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des T rägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
Die Informationen werden dem T räger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren T rägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde. Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim T ragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des T rägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
So ist aus der Druckschrift DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
Derartige in der Datenbrille integrierte Posenerkennungseinheiten, die zur Erfassung der absoluten Pose ausgebildet sind, benötigen eine hohe Prozessorleistung und sind daher aufwändig zu realisieren. Dies führt zu einem hohen Baugewicht und/oder Bauvolumen der Datenbrille und das Bereitstellen der benötigten elektrischen Energie ist aufwändig zu realisieren.
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des T rägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking- Systemen besteht eine Schwierigkeit darin, die au ßerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des T rägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
Rein kamerabasierte T racking-Verfahren sind zudem stark abhängig von der Belichtungssituation im Fahrzeuginnenraum und benötigen zusätzliche Vorkehrungen und weitere Sensorik für den Betrieb bei Nacht und bei starkem Sonnenlicht.
Bei einer Positionsbestimmungseinheit, die einen Beschleunigungssensor in der Datenbrille nutzt, besteht zudem eine Schwierigkeit darin, dass bei T ragen der Datenbrille innerhalb eines sich bewegenden Kraftfahrzeugs die Beschleunigungssensoren nur eine Gesamtbeschleunigung relativ zur Umgebung/Umwelt erfassen und daraus lediglich Bewegungsgeschwindigkeiten relativ zur Umgebung/Umwelt ermitteln können. Anhand der Messung innerhalb der Datenbrille ist die Bewegung der Datenbrille relativ zu einem Fahrzeugkoordinatensystem nicht ohne Weiteres ermittelbar. Für die kontaktanaloge Darstellung ist jedoch eine Kenntnis von Bewegungen der Datenbrille in Bezug zu dem Fahrzeugkoordinatensystem notwendig. Diese lassen sich nur bei Kenntnis der Fahrzeugbeschleunigung, Fahrzeugbewegungsgeschwindigkeit und Fahrzeugrotation bzw. Dreh rate bestimmen.
Bei Verwendung eines Beschleunigungssensors können zudem nur relative Bewegungen seit der letzten Verfügbarkeit einer absoluten Posenangabe ausgewertet werden. Daher unterliegt die Posenbestimmung basierend auf Beschleunigungssensoren aufgrund der notwendigen Integrationsoperationen einer Drift über der Zeit, so dass die ermittelte Pose immer ungenauer wird, je länger keine absolute Posenangabe als Referenz bereitgestellt wird.
Aus der Druckschrift DE 10 2015 208 737 A1 ein Head-up-Display für ein Fahrzeug bekannt, wobei das Head-up-Display ausgestaltet ist, um eine Relativbewegung des Kopfes des Fahrers zu dem Head-up-Display auszugleichen, um eine Relativbewegung zwischen dem virtuellen Bild und dem Kopf des Fahrers zu verringern. Die Relativbewegung zwischen der Projektionseinheit und einem Kopf des Fahrers wird mithilfe eines Gyrosensors erfasst.
Es ist Aufgabe der vorliegenden Erfindung, eine Datenbrille und ein Anzeigesystem mit einer Datenbrille zur Verfügung zu stellen, bei der eine Posenangabe der Datenbrille mit höherer Genauigkeit und niedrigerer Latenz in der Datenbrille bereitgestellt werden kann. Zudem ist es eine Aufgabe, das Baugewicht und/oder das Bauvolumen von Datenbrillen mit Posenerkennung zu reduzieren und/oder den Bedarf der Datenbrille an elektrischer Energie zu begrenzen/reduzieren.
Offenbarung der Erfindung
Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch das Verfahren zum Betreiben eines Anzeigesystems, eine Datenbrille und ein Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
Erfassen einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille bezüglich der Fahrzeugumgebung entspricht, durch die Datenbrille;
Empfangen einer Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille bezüglich des Fahrzeuginnenraums entspricht;
Empfangen einer Fahrzeugbewegungsinformation bestehend aus einer Fahrzeugbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht; Ermiteln einer aktuellen Brillenposenangabe in der Datenbrille abhängig von der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation ;
Betreiben des Anzeigesystems abhängig von der aktuellen
Brillenposenangabe.
Das obige Verfahren zum Betreiben der Datenbrille dient zur Bestimmung der aktuellen Brillenposenangabe, die einer absoluten Pose der Datenbrille in Bezug zu einem Fahrzeugkoordinatensystem entspricht, durch eine Kombination eines brillengestützten T racking-Verfahrens und eines fahrzeuggestützten T racking-Verfahrens. Dabei werden rechenintensive Teile in dem Fahrzeugsystem und die Datenfusion in der Datenbrille realisiert, um möglichst niedrige Latenzen für die Bereitstellung der aktuellen Brillenposenangabe in der Datenbrille zu erreichen. Die relativen Fahrzeugbewegungsangaben und die relativen Brillenbewegungsangaben werden dabei mit niedriger Latenz und hoher Frequenz zu einer relativen Bewegungsangabe im fahrzeugfesten Koordinatensystem verrechnet und dann mit der mit höherer Latenz bereitgestellten absoluten Brillenposenangabe (bezogen auf das fahrzeugfeste Koordinatensystem) einer externen Posenerkennungseinrichtung kombiniert.
Insbesondere durch den Wegfall einer Kamera in der Datenbrille sind die technischen Anforderungen hinsichtlich Bauvolumen, Baugewicht, Rechenleistung und Energieversorgung in der Datenbrille gering, so dass gegebenenfalls auch Datenbrillen unterschiedlicher Hersteller und auch mehrere Datenbrillen gleichzeitig durch ein solches Anzeigesystem unterstützt werden können.
Das Vorsehen des Kamerasystems in der Posenerkennungseinrichtung des Anzeigesystems stellt in der Regel keinen oder nur begrenzten zusätzlichen Aufwand dar, da ein solches Kamerasystem zur Fahrerzustandsüberwachung bereits vielseitig eingesetzt wird. Es ergeben sich somit hohe Synergien zwischen dem Kamerasystem der Fahrerzustandsüberwachung und einem Anzeigesystem zum Betreiben einer Datenbrille.
Weiterhin können die Brillenbewegungsangabe aus einer erfassten Beschleunigung der Datenbrille in einer oder mehreren Raumrichtungen und/oder um eine oder um mehrere Schwenkachsen bestimmt werden und/oder die Fahrzeugbewegungsangabe aus einer erfassten Beschleunigung des Kraftfahrzeugs in einer oder mehreren Raumrichtungen und/oder um eine oder um mehrere Schwenkachsen bestimmt werden.
Es kann vorgesehen sein, dass die Brillenposenangabe mithilfe einer Posenerkennungseinrichtung, die insbesondere ein Kamerasystem umfasst, bestimmt wird.
Gemäß einer Ausführungsform kann die aktuelle Brillenposenangabe abhängig von der Brillenposenangabe der Brillenposeninformation und abhängig von einem Verlauf einer relativen Bewegungsangabe zwischen dem Zeitstempel der Brillenposenangabe und einem aktuellen Zeitpunkt bestimmt werden, wobei die relative Bewegungsangabe eine relative Bewegung der Datenbrille bezüglich eines fahrzeugfesten Koordinatensystems angibt, wobei der Verlauf der relativen Bewegungsangabe durch die Fahrzeugbewegungsangabe der Fahrzeugbewegungsinformation und die Brillenbewegungsangabe der Brillenbewegungsinformation bestimmt wird.
Insbesondere kann der Verlauf der relativen Bewegungsangabe bestimmt werden, indem zu jedem Berechnungszeitpunkt die Fahrzeugbewegungsangabe auf den betreffenden Berechnungszeitpunkt prädiziert wird und die Differenz zwischen der prädizierten Fahrzeugbewegungsangabe und der Brillenbewegungsangabe bestimmt wird.
Es kann vorgesehen sein, dass die Fahrzeugbewegungsangabe auf den betreffenden Berechnungszeitpunkt durch Extrapolation, einen linearen Kalman-Filter oder einen Extended Kalman-Filter oder durch ein vorgegebenes Bewegungsmodell prädiziert wird.
Weiterhin kann die Prädiktion der prädizierten Fahrzeugbewegungsangaben für die einzelnen Raumrichtungen und Schwenkachsen unterschiedlich durchgeführt werden, wobei insbesondere Geschwindigkeit, Beschleunigung, Drehrate, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung des Kraftfahrzeugs und/oder Detektionen von Fahrwerksensoren, die Aufschluss über eine Fahrbahnbeschaffenheit angeben, berücksichtigt werden können.
Gemäß einer Ausführungsform kann nach einem Empfangen der Brillenposeninformation die aktuelle Brillenposenangabe korrigiert werden, indem ausgehend von dem Zeitpunkt des Zeitstempels der empfangenen Brillenposeninformation die aktuelle Brillenposenangabe entsprechend der relativen Bewegungsangabe ermittelt wird, insbesondere durch Einsatz eines linearen Kalman Filters oder Extended Kalman Filters.
Insbesondere kann, wenn eine empfangene Brillenposenangabe mit einem zurückliegenden Zeitstempel zu einem Sprung der aktuellen Brillenposenangabe führt, die aktuelle Brillenposenangabe geglättet nachgeführt werden, wobei insbesondere die durch den Verlauf der Brillenposenangaben bestimmten Bewegungstrajektorien der Datenbrille 3 mithilfe eines Tiefpassfilters, eines linearen Kalman Filters oder eines Extended Kalman Filters geglättet werden.
Gemäß einem weiteren Aspekt ist eine Datenbrille in einem Anzeigesystem in einem Kraftfahrzeug mit einer Steuereinheit vorgesehen, die ausgebildet ist, um:
eine Brillenbewegungsinformation mit einer Brillenbewegungsangabe und einem Zeitstempel zu erfassen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille bezüglich der Fahrzeugumgebung entspricht; eine Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel zu empfangen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille in Bezug zu einem Fahrzeugkoordinatensystem entspricht;
- eine Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe und einem Zeitstempel zu empfangen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht;
- eine aktuelle Brillenposenangabe abhängig von der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation zu ermitteln;
- die Datenbrille abhängig von der aktuellen Brillenposenangabe zu betreiben.
Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit der obigen Datenbrille und einer fahrzeugfest montierten Posenerkennungseinrichtung vorgesehen, die ausgebildet ist, um die Brillenposeninformation und die Fahrzeugbewegungsinformation bereitzustellen.
Kurzbeschreibung der Zeichnungen
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
Figur 1 eine schematische Darstellung eines Anzeigesystems mit einer
Datenbrille und einer Posenerkennungseinrichtung zum Einsatz in einem Kraftfahrzeug; und
Figur 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum
Betreiben des Anzeigesystems.
Beschreibung von Ausführungsformen
Figur 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst eine
Posenerkennungseinrichtung 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen der
Posenerkennungseinrichtung 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann. Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten ins Auge des T rägers der Datenbrille projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann. Hierin wird davon ausgegangen, dass die Position der Datenbrille 3 relativ zu den Augen des Benutzers festgelegt und vorbekannt ist. Bei Erstbenutzung kann hierzu ein Kalibrierungsvorgang durch den Benutzer der Datenbrille 3 ausgeführt werden, bei dem die relative Pose der Datenbrille 3 relativ zum Kopf des Benutzers bestimmt wird.
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann separat ausgebildet sein oder gemeinsam mit dem Mikroprozessor der Anzeigeeinrichtung 36 ausgebildet sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann die Posenerkennungseinrichtung 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines T racking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung im Raum. Die Pose der Datenbrille 3 repräsentiert die Blickrichtung des Benutzers und dessen Blickbereich, da die Datenbrille 3 eine feste relative Position am Kopf des Benutzers hat.
Weiterhin umfasst die Datenbrille 3 eine Intertialsensorik 38, die vorzugsweise Beschleunigungen der Datenbrille 3 in drei Raumrichtungen und Winkelbeschleunigungen oder Winkelgeschwindigkeiten ein drei verschiedenen Schwenkachsen ermittelt. Die Beschleunigungen sowie Winkelbeschleunigungen oder Winkelgeschwindigkeiten werden als Brillenbewegungsangaben zusammengefasst und der Steuereinheit 37 bereitgestellt. Weiterhin kann eine Kommunikationseinheit 39 vorgesehen sein, die eine Kommunikation mit der Posenerkennungseinrichtung 2 ermöglicht.
Die Posenerkennungseinrichtung 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen. Die Posenerkennungseinrichtung 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und Posenerkennungseinrichtung 2 ermöglicht.
Die Posenerkennungseinrichtung 2 kann weiterhin mit einem Kamerasystem 22 versehen sein, das eine oder mehrere Kameras aufweist, die auf den Fahrer des Kraftfahrzeugs und/oder auf sonstige Insassen des Kraftfahrzeugs bzw. allgemein in den Innenraum des Kraftfahrzeugs gerichtet sind. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen. Weiterhin kann die Posenerkennungseinrichtung 2 im Kraftfahrzeug alternativ oder zusätzlich zu dem Kamerasystem 22 auch mit einem alternativen Trackingsystem zur Posenbestimmung ausgeführt sein, wie z.B. einem magnetischen T racker, einem akustischen T racker oder einem auf Tiefensensorik basierender T racker.
Mithilfe einer geeigneten Prozessoreinheit 23 kann das Kamerabild der Fahrzeuginnenraumkamera 22 ausgewertet werden, um die absolute Pose mindestens einer in dem Fahrzeuginnenraum befindlichen Datenbrille 3 zu bestimmen und diese als absolute Posenangabe in der Posenerkennungseinrichtung 2 bereitzustellen. Die Prozessoreinheit 23 ist dazu mit entsprechenden Bildverarbeitungsalgorithmen programmiert, um die Bildposition des Kopfes des Benutzers oder der Datenbrille 3 aus den erfassten Kamerabildern zu extrahieren und aus der Bildposition, der Ausrichtung und Position der betreffenden Kamera die Pose, d.h. die Position und Ausrichtung der Datenbrille 3 bezogen auf das Fahrzeugkoordinatensystem in Form der absoluten Posenangabe zu ermitteln.
Zum einen kann aus den Kamerabildern mithilfe eines an sich bekannten Head- T racking-Verfahrens die Kopfpose des Benutzers der Datenbrille 3 erfasst werden. Die absolute Pose der Datenbrille 3 kann dann durch Berücksichtigung der durch den Kalibrierungsvorgang erhaltenen relativen Pose der Datenbrille 3 zum Kopf des T rägers in an sich bekannter Weise ermittelt werden. Alternativ kann die Brillenpose der Datenbrille 3 über ein Objekt-T racking-Verfahren des Bildverarbeitungsalgorithmus direkt bestimmt werden. Dabei können CAD- Daten und/oder visuelle Merkmale der Datenbrille 3 verwendet werden, um eine Kontur der Datenbrille 3 auf den Kamerabildern mithilfe des Bildverarbeitungsalgorithmus zu erkennen und daraus die Brillenpose zu ermitteln. Zur Verbesserung eines solchen Objekt-T racking-Verfahrens kann der Suchbereich eingeschränkt werden, indem zunächst nach Kopfformen in den Kamerabildern gesucht wird und anschließend die Bereiche des Kamerabildes, in denen Kopfformen gefunden wurden, auf Unterbereiche, in denen die Brille auf dem Kopf getragen wird, begrenzt wird. Zudem können alternativ oder zusätzlich an der Datenbrille 3 durch das Kamerasystem 22 erkennbare Marker (durch Bildverarbeitung gut erkennbare Markierungen) angebracht werden, um die Pose der Datenbrille 3 zu erkennen. Die Marker können insbesondere am Rahmen 31 der Datenbrille 3 oder an den Sichtscheiben 32 oder auch Hologramme in den Sichtscheiben 32 sein. Zur Kalibrierung kann das Kamerasystem 22 weiterhin verwendet werden, um durch Erkennung der Augenposition des Benutzers die relative Pose der Datenbrille 3 bezüglich der Augen des T rägers der Datenbrille 3 zu ermitteln.
Das Kamerasystem 22 kann ganz oder teilweise auch für sonstige Fahrzeugassistenzfunktionen verwendet werden. So kann beispielsweise eine Fahrerzustandsüberwachung, wie z. B. eine Müdigkeitserkennung und dergleichen, mithilfe des für das Erfassen der absoluten Pose der Datenbrille 3 verwendete Kamerasystems 22 durchgeführt werden. Die Posenerkennungseinrichtung 2 zur Unterstützung der Posenermittlung in der Datenbrille 3 kann auch separat von im Kraftfahrzeug eingebauten Assistenzsystemen vorgesehen werden.
Gleichzeitig wird in der Prozessoreinheit 23 der Zeitstempel des durch das Kamerasystems 22 aufgezeichneten Bildes gemeinsam mit der absoluten Posenangabe (Brillenposenangabe) zu einer absoluten Poseninformation kombiniert.
Weiterhin umfasst die Posenerkennungseinrichtung 2 einen Fahrzeugbeschleunigungssensor 24 oder ist mit einem solchen z. B. über den CAN-Bus verbunden, um eine Fahrzeugbeschleunigung mit Beschleunigungen in drei Raumrichtungen sowie Winkelbeschleunigungen oder Winkelgeschwindigkeiten um drei Schwenkachsen zu erhalten. Eine Fahrzeugbewegungsangabe entspricht der Fahrzeugbeschleunigung oder wird aus dieser generiert. Die Fahrzeugbewegungsangabe wird mit dem Zeitstempel des Erfassungszeitpunkts kombiniert bzw. diesem zugeordnet, um eine Fahrzeugbewegungsinformation zu erhalten.
Die Kommunikationseinheit 21 ist ausgebildet, die absolute Poseninformation als Brillenposeninformation und die Fahrzeugbewegungsinformation über die Kommunikationsverbindung 4 zu geeigneten Zeitpunkten oder sobald verfügbar an die Datenbrille 3 zu übertragen.
In der Steuereinheit 37 der Datenbrille 3 werden nun die Brillenbewegungsangabe und die Fahrzeugbewegungsangabe miteinander verrechnet, so dass eine relative Bewegungsangabe der Datenbrille 3 bezüglich eines fahrzeugfesten Koordinatensystems ermittelt wird. Durch Integration der durch die relative Bewegungsangaben angegebenen relativen Bewegungen in den Raumrichtungen und relativen Drehbewegungen (Winkelgeschwindigkeit bzw. Winkelbeschleunigung) um die Schwenkachsen kann eine relative Bewegungsangabe der Datenbrille 3 und weiter eine relative Posenangabe (Posenänderung) der Datenbrille 3 ausgehend von einen zurückliegenden Zeitpunkt, z.B. einem Zeitpunkt einer zuletzt bekannten absoluten Pose der Datenbrille 3, berechnet werden. Die relative Bewegungsangabe und die relative Posenangabe der Datenbrille 3 sind auf ein Fahrzeugkoordinatensystem bezogen.
Da die Fahrzeugbewegungsangaben nur mit einer durch die Kommunikationsverbindung 4 bewirkten Latenz in der Datenbrille 3 zur Verfügung stehen, werden die relativen Bewegungsangaben entsprechend der Zeitstempel der verfügbaren Brillenbewegungsangaben und der verfügbaren Fahrzeugbewegungsangaben ermittelt.
Da die Fahrzeugbewegungsangaben mit anderer und insbesondere einer niedrigeren Frequenz ermittelt und an die Datenbrille 3 übertragen werden als die Brillenbewegungsangaben in der Datenbrille 3 aktualisiert werden und zur Verfügung stehen, werden die relativen Bewegungsangaben der Datenbrille 3 basierend auf einer prädizierten Fahrzeugbewegung ermittelt. Die Fahrzeugbewegung wird dazu aus den zuletzt erhaltenen Fahrzeugbewegungsangaben durch Extrapolation oder vergleichbaren Verfahren prädiziert, um so eine auf den Zeitpunkt der zuletzt verfügbaren aktuellsten Brillenbewegungsangabe prädizierte
Fahrzeugbewegungsangabe zu erhalten. Daraus kann dann die relative Bewegungsangabe für die Datenbrille 3 bestimmt werden. Dies ist zulässig, da die Fahrzeugbewegungen im Vergleich zu den Kopfbewegungen geringeren bzw. langsameren Veränderungen unterliegen.
Die Prädiktionen der Fahrzeugbewegungen können basierend auf vorgegebenen Bewegungsmodellen, einem linearen Kalman-Filter und/oder Extended-Kalman-Filter oder dergleichen vorgenommen werden. Die Prädiktionen ermöglichen es, einen möglichst aktuellen Wert der relativen Posenangabe für die Datenbrille zu erhalten.
Bei der Prädiktion können die Fahrzeugbewegungsangaben für die einzelnen Raumrichtungen und Schwenkachsen unterschiedlich behandelt werden, da beispielsweise Kurvenfahrten, Bremsen und Beschleunigung des Fahrzeugs für einen längeren Zeitraum in die Zukunft prädiziert werden können als die Ausschläge in vertikaler Richtung, die beispielsweise aufgrund von Schlaglöchern oder Vibrationen des Kraftfahrzeugs auftreten können. Zudem kann die Fahrzeugbewegungsangabe durch weitere Fahrzeugsensorik korrigiert oder präzisiert werden, wobei die weitere Fahrzeugsensorik Aussagen bzw. Prognosen über die Eigenbewegung des Fahrzeugs zulassen. Dies sind insbesondere Geschwindigkeit, Beschleunigung, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung sowie weitere Fahrwerksensoren, die Aufschluss z. B. über Schlaglöcher und dergleichen geben sowie Fahrzeugtypinformationen wie Gewicht, Radstand und weitere Informationen, die zur Prädiktion der Fahrzeugbewegung aus den Sensorwerten dienlich sind. Diese können in einer Sensordatenfusion entweder seitens der Posenerkennungseinrichtung 2 oder seitens der Datenbrille 3 berücksichtigt werden.
Eine absolute Posenangabe der Datenbrille 3, die für einen zurückliegenden Zeitpunkt bereitgestellt wird, kann mit der relativen Posenangabe, die eine Posenänderung seit dem zurückliegenden Zeitpunkt angibt, durch Addition beaufschlagt werden, um eine aktuelle Pose der Datenbrille 3 zu erhalten.
Die Übertragung der Fahrzeugbewegungsangaben an die Datenbrille 3 kann die Fahrzeugbeschleunigung umfassen und kann zudem in der Posenerkennungseinrichtung 2 daraus ermittelte weitere Bewegungsangaben, die aus der Fahrzeugbeschleunigung ermittelt werden, umfassen. Zudem können Informationen über die befahrene Fahrstrecke bzw. Kartendaten zusätzlich in geeigneter Weise berücksichtigt werden, um die in der Posenerkennungseinrichtung 2 ermittelten Fahrzeugbewegungsinformationen zu verbessern, insbesondere durch Kurveninformationen der Fahrstrecke, typische Haltepunkte, wie beispielsweise Ampeln, Stoppschilder und Kreuzungen, Informationen zum Straßentyp und Straßenbeschaffenheit, aktuelle Verkehrsinformationen, wie z. B. Verkehrsdichte, Stauende und dergleichen. Beispielsweise kann bei bekanntem Kurvenradius aus der Karte die Fahrzeugbewegung in der Kurve entsprechend diesem Radius in die Zukunft prädiziert werden, da in der Regel davon auszugehen ist, dass das Kraftfahrzeug dem Straßenverlauf folgt. Lediglich ein Abbiegen in der Kurve oder ein Überholmanöver in der Kurve würden dann zu fehlerhaften Prädiktionen führen. Ebenso ist bei Stoppschildern oder einem Stau-Ende davon auszugehen, dass der Kunde das Fahrzeug anhalten wird, so kann diese negative Beschleunigung entsprechend prädiziert werden. Auch Vertikalbeschleunigungen durch Hügel, Speed-Bumper oder andere in der Karte verzeichnete Höhenänderungen können entsprechend in der Fahrzeugbewegungsprädiktion berücksichtigt werden. In diesem Sinne kann jede Information über das Straßennetz und die aktuelle Verkehrssituation, die Einfluss auf Geschwindigkeits- und Beschleunigungswerten des Kraftfahrzeugs haben, bei der Prädiktion der Fahrzeugbewegung berücksichtigt werden.
Weiterhin kann vorgesehen sein, dass die Fahrzeugbewegungsinformationen und die Brillenbewegungsinformationen einmalig oder wiederkehrend zueinander kalibriert werden, so dass die exakte Lage deren Bezugskoordinatensysteme im Raum zueinander bestimmt werden. Insbesondere wird dadurch die Lage der Koordinatenachsen und der Schwenkachsen zueinander bestimmt.
In der Datenbrille 3 werden die Fahrzeugbewegungsinformation, die Brillenposeninformation, die an die Datenbrille übertragen werden, mit der in der Datenbrille 3 erfassten Brillenbewegungsinformation kombiniert. Dies erfolgt in der Berücksichtigung der Zeitstempel der jeweiligen Angaben, wobei bei Erhalten einer Angabe, die einem bezüglich des aktuellen Zeitpunkts zurückliegenden Zeitpunkt angibt, eine Korrektur der seit diesem zurückliegenden Zeitpunkt ermittelten Bewegungstrajektorie bzw. eine Korrektur durch die relative Posenangabe (Posenänderung) vorgenommen wird. Dadurch kann das unterschiedliche Alter der Bewegungsangaben und der Brillenposenangabe aufgrund der unterschiedlichen Berechnungs- und Übertragungszeiten berücksichtigt werden. Führt eine in der Datenbrille 3 neu empfangene Brillenposenangabe mit einem zurückliegenden Zeitstempel zu einem Sprung der aktuell ermittelten Brillenposenangabe, kann zur Vermeidung eines sichtbaren Springens einer daraufhin generierten Anzeige auf den Anzeigeflächen 35 die aktuelle Brillenposenangabe sanft nachgeführt werden, insbesondere können die durch den Verlauf der Brillenposenangaben bestimmten Bewegungstrajektorien der Datenbrille 3 mithilfe eines Tiefpassfilters geglättet werden, um sanftere Verläufe bei auf der Brillenposenangabe basierenden Anzeigen auf der Anzeigefläche 35 zu erreichen.
Insgesamt kann das Anzeigesystem mit der fahrzeugfesten Posenerkennungseinrichtung 2 und der Datenbrille 3 ein Verfahren ausführen, das in dem Flussdiagramm der Figur 2 skizziert ist. In Schritt S1 werden in der Datenbrille 3 Brillenbewegungsangaben erfasst und diese gemäß deren jeweiligen Zeitstempel für einen bestimmten Zeitabschnitt als Brillenbewegungsinformation gespeichert. Sind die Brillenbewegungsangaben latenzbehaftet, d. h. liegt eine signifikante Latenz vor, so werden in Schritt S2 die durch die Beschleunigungssensorik 38 der Datenbrille 3 erfassten Bewegungsangaben auf eine der oben beschriebenen Arten extrapoliert, um die aktuelle Brillenbewegungsangabe zu einem aktuellen Zeitpunkt zu ermitteln.
In Schritt S3 wird überprüft, ob eine neue Fahrzeugbewegungsinformation von der Posenerkennungseinrichtung 2 empfangen worden ist. Ist dies der Fall (Alternative: Ja), so wird das Verfahren mit Schritt S4 fortgesetzt, andernfalls (Alternative: Nein) wird das Verfahren mit Schritt S5 fortgesetzt.
In Schritt S4 wird aus der empfangenen Fahrzeugbewegungsinformation die Fahrzeugbewegungsangabe mit dem zugehörigen Zeitstempel erfasst und gespeichert, um einen zurückliegenden Verlauf der Fahrzeugbewegungsangaben für die Prädiktion vorzuhalten. Nachfolgend wird das Verfahren mit Schritt S5 fortgesetzt.
In Schritt S5 wird wie oben beschrieben eine entsprechende Prädiktion der Fahrzeugbewegungsangabe auf das aktuelle Zeitraster vorgenommen und als aktuelle Fahrzeugbewegungsangabe bereitgestellt.
In Schritt S6 wird entsprechend eine relative Bewegungsangabe aus der aktuellen Brillenbewegungsangabe und der aktuellen Fahrzeugbewegungsangabe ermittelt, die die relative Bewegung (Posenänderung) der Datenbrille 3 bezüglich eines fahrzeugfesten Koordinatensystems angibt und gespeichert. Dadurch erhält man für ein vorgegebenes Zeitfenster einen Verlauf der relativen Bewegungsangabe. Anschließend wird das Verfahren mit Schritt S7 fortgesetzt.
In Schritt S7 wird überprüft, ob eine Brillenposeninformation empfangen worden ist. Ist dies der Fall (Alternative: Ja), wird das Verfahren mit Schritt S8 fortgesetzt, anderenfalls (Alternative: Nein) wird das Verfahren mit Schritt S9 fortgesetzt. In Schritt S8 wird in das Zeitraster, das dem Zeitstempel der empfangenen Brillenposeninformation entspricht, auf die übermittelte Brillenposenangabe aktualisiert. Gleichzeitig wird der Zeitstempel der Brillenposenangabe als festgelegter Zeitpunkt gespeichert. Nachfolgend wird das Verfahren mit Schritt S9 fortgesetzt.
In Schritt S9 wird nun basierend auf dem Zeitstempel der Brillenposenangabe und der seit diesem Zeitpunkt aufgetretenen Posenänderung eine aktuelle Brillenposenangabe ermittelt. Die seit diesem Zeitpunkt aufgetretene Posenänderung kann in einfacher Weise aus dem Verlauf der relativen Bewegungsangabe ggfs durch Integrationen (z.B. durch Integration von inkrementeilen Posenänderungen), insbesondere durch lineare Kalman Filter oder extended Kalman Filter ermittelt werden.
In Schritt S10 wird die aktuelle Brillenposenangabe verwendet, um die Anzeige in der Datenbrille 3 zu generieren.
Das obige Verfahren wird zyklisch ausgeführt und ermöglicht eine möglichst genaue Posenangabe der Datenbrille 3 bei einem verringerten Rechenaufwand in der Datenbrille 3 basierend auf einer Unterstützung durch eine im Fahrzeug fest installierte Posenerkennungseinrichtung 2.
Zusätzlich oder alternativ kann vorgesehen sein, dass das obige Verfahren immer dann einen Berechnungsschritt ausführt, wenn mindestens eine der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsinformation aktualisierte Werte beinhaltet. Der Berechnungsschritt erfolgt dann synchron in dem Moment, in dem die entsprechende Information eintrifft:
Liegt eine aktualisierte Brillenbewegungsinformation vor, wird eine neue Pose generiert, wobei die Fahrzeugbewegungsinformation und die Brillenbewegungsinformation prädiziert werden. Liegt eine neue Fahrzeugbewegungsinformation vor, wird die Fahrzeugbewegungs-Prädiktion und damit die relative Position der Brille im Fahrzeug korrigiert. Liegt eine neue Brillenposeninformation aus der Posenerkennungseinrichtung 2 vor, wird die Pose der Datenbrille 3 im Kraftfahrzeug korrigiert.
Weiterhin könnte die Berechnung auch unabhängig von dem Vorleigen eines aktualisierten Werts vorgenommen werden und stattdessen die Berechnung entsprechend einer vorgegebenen Taktung zyklisch durchgeführt werden. Bezugszeichenliste
Anzeigesystem
Posenerkennungseinrichtung
Kommunikationseinheit
Kamerasystem
Prozessoreinheit
Fahrzeugbeschleunigungssensor
Datenbrille
Rahmen
Sichtscheiben
Brillenbügel
transparente Anzeigefläche
Anzeigeeinrichtung
Steuereinheit
Intertialsensorik
Kommunikationseinheit
Kommunikationsverbindung

Claims

Ansprüche
1 . Verfahren zum Betreiben eines Anzeigesystems (1 ) mit einer Datenbrille (3) in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
Erfassen (S1 ) einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille (3) bezüglich der Fahrzeugumgebung entspricht; durch die Datenbrille (3);
Empfangen (S7) einer Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille (3) in Bezug zu einem Fahrzeugkoordinatensystem entspricht;
Empfangen (S3) einer Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe und einem Zeitstempel, der einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht;
Ermitteln (S9) einer aktuellen Brillenposenangabe in der Datenbrille (3) abhängig von der Brillenposeninformation, der
Fahrzeugbewegungsinformation und der Brillenbewegungsinformation; Betreiben des Anzeigesystems (1 ) abhängig von der aktuellen Brillenposenangabe.
2. Verfahren nach Anspruch 1 , wobei die Brillenbewegungsangabe aus einer erfassten Beschleunigung der Datenbrille (3) in einer oder mehreren Raumrichtungen und/oder der Winkelgeschwindigkeit um eine oder um mehrere Schwenkachsen bestimmt wird und/oder wobei die Fahrzeugbewegungsangabe aus einer erfassten Beschleunigung des Kraftfahrzeugs in einer oder mehreren Raumrichtungen und/oder der Winkelgeschwindigkeit um eine oder um mehrere Schwenkachsen bestimmt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei die Brillenposenangabe mithilfe einer Posenerkennungseinrichtung, die insbesondere ein Kamerasystem und/oder einen Tiefensensor umfasst, bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die aktuelle
Brillenposenangabe abhängig von der Brillenposenangabe der Brillenposeninformation und abhängig von einem Verlauf einer relativen Bewegungsangabe zwischen dem Zeitstempel der Brillenposenangabe und einem aktuellen Zeitpunkt bestimmt wird, wobei die relative Bewegungsangabe eine relative Bewegung der Datenbrille (3) bezüglich eines fahrzeugfesten Koordinatensystems angibt, wobei der Verlauf der relativen Bewegungsangabe durch die Fahrzeugbewegungsangabe der Fahrzeugbewegungsinformation und die Brillenbewegungsangabe der Brillenbewegungsinformation bestimmt wird.
5. Verfahren nach Anspruch 4, wobei der Verlauf der relativen Bewegungsangabe bestimmt wird, indem zu jedem Berechnungszeitpunkt die
Fahrzeugbewegungsangabe auf den betreffenden Berechnungszeitpunkt prädiziert wird und die Differenz zwischen der prädizierten
Fahrzeugbewegungsangabe und der Brillenbewegungsangabe bestimmt wird.
6. Verfahren nach Anspruch 5, wobei die Fahrzeugbewegungsangabe auf den betreffenden Berechnungszeitpunkt durch Extrapolation, einen linearen Kalman Filter und/oder einen Extended Kalman-Filter oder durch ein vorgegebenes Bewegungsmodell prädiziert wird.
7. Verfahren nach Anspruch 6, wobei die Prädiktion der prädizierten
Fahrzeugbewegungsangaben für die einzelnen Raumrichtungen und Schwenkachsen unterschiedlich durchgeführt wird, wobei insbesondere Geschwindigkeit, Beschleunigung, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung des Kraftfahrzeugs und/oder Detektionen von Fahrwerksensoren, die Aufschluss über eine
Fahrbahnbeschaffenheit angeben, und/oder Fahrzeugtypinformationen, wie Gewicht, Fahrwerksdämpfung und/oder Radstand, berücksichtigt werden.
8. Verfahren nach einem der Ansprüche 4 bis 7, wobei nach einem Empfangen der Brillenposeninformation die aktuelle Brillenposenangabe korrigiert wird, indem ausgehend von dem Zeitpunkt des Zeitstempels der empfangenen Brillenposeninformation die aktuelle Brillenposenangabe entsprechend der relativen Bewegungsangabe ermittelt wird, insbesondere durch Datenfusion in einem linearen oder Extended Kalman Filter.
9. Verfahren nach Anspruch 8, wobei wenn eine empfangene Brillenposenangabe mit einem zurückliegenden Zeitstempel zu einem Sprung der aktuellen Brillenposenangabe führt, die aktuelle Brillenposenangabe geglättet nachgeführt wird, wobei insbesondere die durch den Verlauf der Brillenposenangaben bestimmten Bewegungstrajektorien der Datenbrille (3) mithilfe eines Tiefpassfilters und / oder eines linearen oder Extended Kalman Filters geglättet werden.
10. Datenbrille (3) in einem Anzeigesystem (1 ) in einem Kraftfahrzeug, umfassend: eine Kommunikationseinheit (21 ), die ausgebildet ist, um:
o eine Brillenposeninformation mit einer Brillenposenangabe und einem Zeitstempel zu empfangen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Brillenposenangabe angegebenen absoluten Pose der Datenbrille (3) in Bezug zu einem
Fahrzeugkoordinatensystem entspricht;
o eine Fahrzeugbewegungsinformation mit einer
Fahrzeugbewegungsangabe und einem Zeitstempel zu empfangen, wobei der Zeitstempel einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht;
- eine Intertialsensorik (38), die ausgebildet ist, um eine
Brillenbewegungsangabe zu erfassen;
- eine Steuereinheit (37), die ausgebildet ist, um eine aktuelle
Brillenposenangabe abhängig von der Brillenposeninformation, der Fahrzeugbewegungsinformation und der Brillenbewegungsangabe zu ermitteln und die Datenbrille (3) abhängig von der aktuellen
Brillenposenangabe zu betreiben.
1 1. Anzeigesystem (1 ) mit einer Datenbrille (3) nach Anspruch 10 und einer fahrzeugfest montierten Posenerkennungseinrichtung (2), die ausgebildet ist, um die Brillenposeninformation und die Fahrzeugbewegungsinformation bereitzustellen.
PCT/EP2019/052478 2018-02-01 2019-02-01 Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille WO2019149874A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018201509.0 2018-02-01
DE102018201509.0A DE102018201509A1 (de) 2018-02-01 2018-02-01 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Publications (1)

Publication Number Publication Date
WO2019149874A1 true WO2019149874A1 (de) 2019-08-08

Family

ID=65276190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/052478 WO2019149874A1 (de) 2018-02-01 2019-02-01 Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille

Country Status (2)

Country Link
DE (1) DE102018201509A1 (de)
WO (1) WO2019149874A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019126638A1 (de) * 2019-10-02 2021-04-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019131640A1 (de) * 2019-11-22 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102020112300A1 (de) * 2020-05-06 2021-11-11 Audi Aktiengesellschaft 6 Degree of Freedom (6DOF) Tracking von mobilen Head Mounted Displays (HMD)
DE102020117870B4 (de) 2020-07-07 2023-01-12 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeug
DE102020129068A1 (de) 2020-11-04 2022-05-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
DE102021128357A1 (de) * 2021-10-29 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer fahrzeugfesten Inertialsensorik in einem Kraftfahrzeug
DE102022118795A1 (de) 2022-07-27 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erkennung der Blickrichtung eines Benutzers einer Datenbrille zur Ausführung in einem Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6474159B1 (en) * 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US20040149036A1 (en) * 2000-04-21 2004-08-05 Eric Foxlin Motion-tracking
DE102014206623A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
DE102015208737A1 (de) 2014-05-30 2015-12-03 Schaeffler Technologies AG & Co. KG P2-Antriebsmodul mit Trommelkupplung
EP2933707B1 (de) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Darstellungseinstellung für kopfmontierte Anzeige

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201516120D0 (en) * 2015-09-11 2015-10-28 Bae Systems Plc Helmet tracker
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6474159B1 (en) * 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US20040149036A1 (en) * 2000-04-21 2004-08-05 Eric Foxlin Motion-tracking
DE102014206623A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
EP2933707B1 (de) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Darstellungseinstellung für kopfmontierte Anzeige
DE102015208737A1 (de) 2014-05-30 2015-12-03 Schaeffler Technologies AG & Co. KG P2-Antriebsmodul mit Trommelkupplung

Also Published As

Publication number Publication date
DE102018201509A1 (de) 2019-08-01

Similar Documents

Publication Publication Date Title
WO2019149874A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
EP3129820A1 (de) Lokalisierung eines head-mounted displays (hmd) im fahrzeug
EP2986225B1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
DE102017221871A1 (de) Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
DE102017110283A1 (de) Steuern von funktionen und ausgaben von autonomen fahrzeugen auf der grundlage einer position und aufmerksamkeit von insassen
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE102017216774B4 (de) Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
EP3298474A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
EP3765324A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102017107396A1 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE112017007019T5 (de) Fahrzeuganzeigesteuervorrichtung
DE102010003850A1 (de) Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
DE102017220268B4 (de) Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
DE102017215163B4 (de) System aus einem Kraftfahrzeug und einer Augmented-Reality-Brille und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille im Innenraum eines Fahrzeugs
EP3392111A1 (de) Verfahren und vorrichtung zum ermitteln einer visuellen ablenkung eines fahrers eines fahrzeugs
DE102019116089A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
WO2021170421A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug sowie system mit einem kraftfahrzeug und einer datenbrille
DE102014207398A1 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102014105374B4 (de) Fahrerassistenzsystem
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019109491A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019131640A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019126905A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19702899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19702899

Country of ref document: EP

Kind code of ref document: A1