WO2015044280A1 - Verfahren und vorrichtung zur steuerung einer bilderzeugungseinrichtung eines head-up-displays - Google Patents

Verfahren und vorrichtung zur steuerung einer bilderzeugungseinrichtung eines head-up-displays Download PDF

Info

Publication number
WO2015044280A1
WO2015044280A1 PCT/EP2014/070511 EP2014070511W WO2015044280A1 WO 2015044280 A1 WO2015044280 A1 WO 2015044280A1 EP 2014070511 W EP2014070511 W EP 2014070511W WO 2015044280 A1 WO2015044280 A1 WO 2015044280A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coordinate system
determined
orientation
display
Prior art date
Application number
PCT/EP2014/070511
Other languages
English (en)
French (fr)
Inventor
Folker WIENTAPPER
Harald Wuest
Peter Giegerich
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., Continental Automotive Gmbh filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Publication of WO2015044280A1 publication Critical patent/WO2015044280A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the invention relates to a method and a device for controlling a
  • Image generating device of a head-up display in a vehicle is a vehicle.
  • head-up displays in a vehicle which are used to show a vehicle driver virtual three-dimensional graphics in his field of view. These can assist him in driving the vehicle.
  • the display in order that the generated graphics for the vehicle driver appear in its field of vision in the correct orientation, the display must be adapted to current general conditions, in particular a geometry of the virtual image and a position of the viewer. In particular, it is necessary to consider a distortion pattern resulting from mirroring the virtual image on a non-planar windshield of the vehicle.
  • US 7,835,592 B2 describes a method for adjusting an image which is projected on a curved surface.
  • the method includes detecting calibration points in a calibration image projected onto the curved surface. Further, the method comprises analyzing the calibration points to obtain relative
  • US 2008/0088526 A1 discloses a method of rendering an image incident on a non-planar surface. The document also describes that a new calibration is required if a viewing point of a viewer is changed.
  • the technical problem arises of providing a method and a device for controlling an image generation device of a head-up display in a vehicle, which display as optimal as possible an orientation and orientation-correct display of virtual images Allow objects in a field of view of a driver. Furthermore, there is the technical problem of allowing the positional and orientation-correct display as a function of a changeable observer position.
  • Reference coordinate system can then be made a läge- and orientation correct representation of objects, wherein object coordinates are also known in the reference coordinate system or at least determined.
  • the virtual object to be displayed can be a three-dimensional virtual object. Another basic idea is to present the vehicle driver with a virtual object in such a way that the driver can perceive the virtual object without distortion from any viewing position.
  • a method is proposed for controlling an image generation device of a head-up display in a vehicle.
  • the image generation device can also be referred to as a projector.
  • the head-up display denotes a system or a device for displaying in particular virtual objects, in particular virtual three-dimensional ones
  • the head-up display can also comprise means for beam guidance or deflection in addition to the image generation device, by means of which beams generated by the image generation device are guided or directed in a desired manner.
  • the head-up display can also comprise a, in particular semitransparent, projection element which, for example, forms a projection surface onto which the image generated by the image generation device is projected.
  • this projection element can be arranged in such a way that rays generated by the image generation device thus come from the projection element be reflected that they can be detected by a vehicle driver after the projection.
  • a two-dimensional reference pattern is generated.
  • This two-dimensional reference pattern is represented by means of the projection element of the head-up display as a projected reference pattern.
  • the two-dimensional reference pattern can therefore be in the form of a two-dimensional image through the
  • Imaging device can be generated.
  • At least one image capture device is a plurality of
  • Image capture device generated. This means that at least two, preferably a sequence of more than two, two-dimensional image (s) is generated, wherein the position and / or orientation of the at least one image capture device is changed such that each image with an image-specific position and / or orientation resulting from image specific layers and / or orientations of the
  • Image capture device in the generation of the other images of the sequence is different.
  • the image capture device can be used in particular as a camera, for example as
  • Image capture devices are used to generate the images.
  • the images are generated by exactly one image capture device.
  • the corresponding position and / or orientation of the at least one image acquisition device in a reference coordinate system is detected or determined for each image.
  • detection means that a position and / or orientation is detected by means of corresponding detection devices, for example sensors.
  • known position and / or orientation detection systems for example optical, magnetic or mechanical detection systems, can be used to detect the position and / or orientation of the image capture device.
  • determining means that the position and / or orientation of the image capture device is not detected directly, but as a function of
  • Information that is at least partially dependent on a position and / or orientation of the image capture device are determined, in particular be determined by calculation.
  • a location and / or orientation of the image capture device are determined, in particular be determined by calculation.
  • Image detection device in response to image information of the images are determined by the image capture device from the respective situation and / or
  • Reference pattern at least partially, preferably completely, shown. This means that at least a part of the reference pattern is detected and imaged from different layers and / or with different orientations of the image capture device. Of course, it is conceivable that in the majority of two-dimensional
  • Coordinates of at least one imaged element of the reference pattern are determined in each image.
  • the two-dimensional reference pattern elements in particular as a picture object or pixel trained reference elements included, which are designed such that an element-specific reference coordinate is determined as clearly as possible.
  • the at least one element can be a single
  • Be assigned reference coordinate for example, a coordinate of a geometric center, depending on this reference coordinate, the coordinate of the
  • Element is determinable.
  • the element may be formed, for example, circular or cross-shaped.
  • the element is designed in such a way that it is as simple and clearly image-based detectable. Unambiguous in this context means that an unambiguous assignment of a mapped element to an actual element in the
  • Reference pattern exists. Such a unique association may e.g. also in
  • Dependence of a predetermined arrangement and / or design of elements in the reference pattern can be determined. So can the reference pattern or the Elements of the reference pattern, for example, have color or brightness properties or characteristics that allow a clear assignment.
  • the element is rotationally invariant.
  • the element may have a unique color coding.
  • the element can be designed in such a way that it can be detected image-based as independent as possible from a focus or resolution of a display device.
  • Another example of an element may be a blurred circular shape.
  • an item can be one
  • potato-like e.g. oval shape.
  • checkerboard pattern in which e.g. Intersections of edges between white and black boxes of the checkerboard pattern or points on these edges which can provide elements.
  • checkerboard patterns and the identification of elements or points of the checkerboard pattern is known to those skilled in the field of camera calibration, in particular for the determination of intrinsic parameters of a camera.
  • At least one or two panels of the checkerboard pattern may be color-configured with a color other than black and white.
  • the determination of the coordinates is image-based.
  • the coordinates of the imaged element are in this case in a (two-dimensional) coordinate system of
  • Image capture device determines which can also be referred to as image coordinate system.
  • Mapping function and estimated as a function of a second mapping function can also be in the coordinate system of the
  • the first mapping function describes an image of a coordinate system of a virtual representation plane, which can also be described as a plane coordinate system, of the head-up display in the Reference coordinate system.
  • Image parameters of the first mapping function can in particular describe a rotation, a translation and / or a scaling, in particular a double scaling, in the image.
  • a two-fold scaling can be a heterogeneous scaling with two scaling parameters which describe a scaling along two orthogonal axes, for example a scaling in the horizontal and vertical image direction.
  • the virtual representation plane denotes a plane in which the images generated by the image generation device appear to the viewer, in particular the vehicle driver.
  • This virtual representation level does not necessarily have to correspond to the level of the previously explained projection element.
  • the second mapping function describes an illustration of that
  • Reference coordinate system in the coordinate system of the image capture device as a function of the position and / or orientation of the at least one
  • the second mapping function takes into account intrinsic and / or extrinsic imaging parameters of the image capture device.
  • Extrinsic and intrinsic imaging parameters of the image capture device in this case describe parameters of the image capture device that influence the imaging of objects in the capture area into the two-dimensional image.
  • the extrinsic imaging parameters describe the position and / or orientation of the image capture device. These are determined or captured for each image, as previously explained.
  • intrinsic imaging parameters can be determined, for example, in a separately performed calibration step.
  • intrinsic imaging parameters include all characteristics that describe the optics of the camera, e.g. Focal length, center of image, image shear, nonlinear lens distortion, and more.
  • each of the multiple images can be generated with the same intrinsic parameters but with different extrinsic parameters.
  • the at least one imaging parameter of the first imaging function be determined so that a deviation between the determined and
  • the determination of the at least one parameter of the first mapping function takes place in the context of a minimization, wherein a cost function is dependent on the difference between the determined and estimated coordinates.
  • the cost function may be described as a distance or squared difference between the determined and estimated coordinates.
  • the coordinates of a plurality of, preferably all imaged, elements of the reference pattern are determined and estimated in each image or for each image. Accordingly, the at least one imaging parameter of the first
  • Mapping function may be determined such that a sum of the deviation between the determined and estimated coordinates for all elements whose coordinates have been determined and estimated, and minimized for all the images under consideration.
  • the virtual representation plane represents a window through which the viewer, in particular the
  • Reference coordinate system to be referenced. This means that coordinates of objects of the virtual world in the reference coordinate system are known or determinable. Thus, it can advantageously be determined as a function of the position and / or orientation of the virtual display plane which objects of the virtual world of the viewer can perceive from a certain viewing position. Further, it can be determined how objects of the virtual world through the
  • Imaging device must be brought to the display so that they appear in perspective from the perspective of the viewer.
  • virtual world objects may be colored virtual markers of actual road markings.
  • these actual lane markings can be detected by a suitable detection system, for example an optical detection system, and a position and orientation of the actual lane marking in the reference coordinate system can be determined.
  • the image generation device of the head-up display can then be controlled in such a way that an additional color
  • Marking of the actual lane marking is displayed in the virtual presentation plane in the correct orientation and orientation.
  • the control of the image generation device then takes place.
  • the method according to the invention forms a method for calibrating the head-up display, in particular for calibrating the image-generating device.
  • the activation of the image generation device can take place in such a way that a läge- and / or orientation-correct display of particular virtual objects in the virtual presentation level.
  • the virtual display plane in the reference coordinate system it can be determined on which (two-dimensional) image coordinate (s) of the image generated by the image generation device a virtual object to be displayed with coordinates known in the reference coordinate system must be displayed explained to achieve läge- and / or orientation-correct representation in the virtual representation level.
  • the calibration is for example the
  • Determining parameters for generating the image of the imaging device Determining parameters for generating the image of the imaging device.
  • the proposed method thus advantageously allows the best possible orientation and / or orientation
  • the reference coordinate system is a
  • Vehicle coordinate system This advantageously makes possible, in particular, a representation of virtual objects which is easy to implement, in particular computationally simple, since these are usually known or determined in the vehicle-specific vehicle coordinate system.
  • Image acquisition device in the reference coordinate system is then dependent on the imaged part of the vehicle and one in the reference coordinate system
  • the model referenced in the reference coordinate system can be, for example, a CAD model of the vehicle, in particular of the vehicle interior.
  • mutually corresponding regions or elements can be determined in an image generated by the image capture device and in the model. Since coordinates of areas or elements of the model in the
  • Reference coordinate system are known, a position and / or orientation of the image capture device can be determined depending on these coordinates and the previously explained, in particular intrinsic, imaging parameters of the image capture device. This can e.g. as a function of a known or determinable mapping rule of an image in the detection range of
  • Image capture device arranged objects in a two-dimensional, captured by the image capture device image done.
  • landmarks that correspond to one another can be identified both in the images generated by the image capture device and in the model.
  • Landmarks here designate elements or objects that are image-based simple and preferably uniquely identified.
  • landmarks can be formed by ventilation grilles.
  • Landmarks can also be formed by edges and corners in the model, which are also visible in the image. These may e.g. of operating and / or ornamental elements, such as Buttons, ledges, levers are formed.
  • Vehicle for example on a multi-function display, which is also used by a navigation system, a previously known pattern are displayed, which provides at least one landmark. Also can be artificial patterns or markers in the Vehicle are arranged, the position and / or orientation is measured in advance, for example, also camera-based, and then integrated into the model.
  • Such patterns or markers may e.g. be mounted on or on a windshield.
  • a further mapping rule is additionally determined, the further mapping rule being an image of the
  • Coordinate system of the virtual representation level in the coordinate system of the image capture device describes.
  • This further mapping rule can also be described as a so-called 2D-2D transformation.
  • the further mapping rule may be for an image depending on the previously explained at least one imaging parameter of the first mapping rule, which is now known, the previously explained, in particular intrinsic,
  • an aberration of at least one element, preferably of all elements, of the reference pattern is determined for a plurality, that is at least two, preferably for each, image (s).
  • the aberration here denotes a deviation of a position of the actually detected element of the reference pattern from a theoretically correct position of the element of the reference pattern from the viewpoint of the viewer.
  • the viewer can be in particular a motor vehicle driver or user.
  • the aberration is based e.g. on distortion effects, in particular by a curved windshield of the vehicle, and / or the
  • the distortion is usually contingent position dependent as well as dependent on a position of the element in the virtual representation plane (and thus also a position of the element in the
  • Representation level and may be different for each viewing position.
  • the aberration may be calculated as the difference or distance between image-based determined actual coordinates of at least one element of the reference pattern and theoretically correct coordinates of the element of the reference pattern.
  • Theoretically correct coordinates can designate coordinates of the element in an image without aberrations, ie an unaltered image.
  • the actual and theoretically correct coordinates of the element of the reference pattern may preferably be in one
  • Coordinate system of the virtual representation plane are determined. However, it is also possible to determine these coordinates in another coordinate system, for example in a coordinate system of the image capture device.
  • This coordinate can then be determined by means of
  • Properties of the reference pattern can then be determined a theoretically correct coordinate of the imaged element.
  • a relationship between the aberration, a viewing position and a position of an element to be displayed is determined.
  • the position of the element or of the element to be displayed can be specified, for example, as the coordinate of the element in the coordinate system of the virtual representation plane.
  • the viewing direction may, for example, be determined as the direction of a vector from the viewing position to a midpoint of the virtual display plane.
  • the viewing direction may, for example, be determined as the direction of a vector from the viewing position to a midpoint of the virtual display plane.
  • a coordinate of an element to be displayed may be in the
  • Image generating device generated image are changed so that the
  • Imaging device allows such that depending on a
  • Viewing position and optionally a viewing direction minimizes an aberration and thus a possible distortion-free representation takes place.
  • the viewing position may be necessary to determine the viewing position and possibly also a viewing direction of the observer, in particular of the viewer
  • a head position and / or head orientation of the observer can be detected by a suitable detection system, for example an optical detection system, wherein depending on the head position and / or head orientation a viewing position and optionally a line of sight of the observer in the reference coordinate system can be determined.
  • a suitable detection system for example an optical detection system, wherein depending on the head position and / or head orientation a viewing position and optionally a line of sight of the observer in the reference coordinate system can be determined.
  • an equalization model from design data of the head-up display and of the vehicle.
  • parameters of the head-up display and the vehicle such as a mirror curvature the projection element of the head-up display and a disc curvature of the windshield of the vehicle, are taken into account. This thus enables a model-based control of the image generation device such that the
  • the number of images generated is used to enable image-based equalization in later use of the head-up display.
  • the parameters of the parameterized model are determined such that the aberration for a plurality of layers of the image capture device and / or a plurality of elements of the reference pattern minimal is.
  • the position of the image capture device corresponds to a possible viewing position of a viewer.
  • the parameters may be determined such that the sum of squared aberrations for a plurality of layers of the image capture device and / or for a plurality of elements of the reference pattern is minimal.
  • the proposed method makes it possible in an advantageous manner that, at the runtime of the method, the calculation of the time-lapse rate as fast as possible and simple as possible
  • Representation represented representation level depending on the parametric model can be generated.
  • the image generation device can then be controlled such that the
  • the parameterized model is given by a polynomial having a predetermined number of independent variables.
  • the variables may be the coordinates of the viewing position (x-position, y-position, z-position of the head) as well as a horizontal coordinate and a vertical coordinate of the considered pixel in the virtual image plane.
  • This degree is then predetermined at runtime, but arbitrary at the time of calibration.
  • the degree of the polynomial can be arbitrary. The higher it is, the better the nonlinearity of the distortion can be mapped. However, then more measurements are required in order to determine all coefficients with sufficient accuracy.
  • the aberration is a coordinate difference between theoretically correct coordinates of an element of the reference pattern in the virtual representation plane in a coordinate system of the virtual
  • Display plane here denotes a calculation of coordinates of a transformed pixel in the coordinate system of the virtual representation plane as a function of coordinates of a pixel in the coordinate system of
  • Image capture device The pixel in the coordinate system of
  • Representation level transformed pixel correspond to each other here.
  • the transformation can in particular by the previously explained further
  • the reference pattern has a plurality of blurred drops arranged in a matrix form.
  • Blurred drops here denote circular elements which, however, do not have a clearly identifiable object edge.
  • a uniquely identifiable edge is given, for example, if an amount of an intensity difference between pixels of the object and
  • Image points outside the object is greater than a predetermined threshold or if an amount of an intensity gradient between two adjacent pixels or between two pixels spaced apart by a predetermined distance is greater than a predetermined threshold.
  • Reference coordinate corresponds in particular to a center of a hazy drop. Further proposed is a device for controlling a
  • Image forming device of a head-up display in a vehicle comprises at least one control device.
  • a two-dimensional reference pattern can be generated and represented by means of a projection element of the head-up display as a projected reference pattern.
  • the image generating device and the projection element can be part of the proposed device.
  • a plurality of two-dimensional images with mutually different layers and / or orientations of the image capture device can be generated by means of at least one image capture device and the corresponding position and / or orientation of the at least one image for each image
  • Image capture device in a reference coordinate system detectable or determinable.
  • the at least one image capture device may be part of the proposed device.
  • the projected reference pattern can be at least partially imaged.
  • Evaluation device in an image coordinates of at least one imaged element of the reference pattern determinable. Further, coordinates of the at least one imaged element are at least dependent on at least one
  • Estimable mapping parameter of a first mapping function and in dependence on a second mapping function wherein the first mapping function describes an image of a coordinate system of a virtual representation plane of the head-up display in the reference coordinate system, wherein the second mapping function mapping of the reference coordinate system in a coordinate system of
  • Image capture device as a function of the position and / or orientation of the at least one image capture device describes.
  • the at least one imaging parameter of the first imaging function can be determined such that a deviation, in particular a distance, between the determined and estimated coordinates of the imaged element is minimized. Furthermore, as a function of the at least one imaging parameter, a position and / or orientation of the virtual representation plane of the head-up display in FIG.
  • the further control and evaluation device may also be part of the proposed device.
  • control device By means of the control device, the control of the image generation device takes place as a function of the position and / or orientation of the virtual presentation plane.
  • the proposed device By means of the proposed device, one of the previously explained methods can be carried out in an advantageous manner.
  • the proposed device may in particular be designed such that one of the previously explained methods by means of the device is feasible.
  • Abnormal imaging a viewing position and a position of an element to be displayed determined. This can be done, for example, as explained above, by determining an aberration of at least one element of the reference pattern for several, in particular each, image, the relationship between a dependence of a position of the element and a position and / or orientation of the image generation device the aberration, a viewing position and a position of an element to be displayed is determined.
  • the imaging error can be determined by means of the control device as a function of the position of an element to be displayed and the viewing position, the control of the image generating device taking place as a function of the imaging error.
  • the control is in particular such that an aberration is minimized.
  • FIG. 1 is a schematic side view of a vehicle with a device for controlling an image forming device
  • Fig. 2 is a perspective view of a vehicle
  • Fig. 3 is an exemplary reference pattern.
  • FIG. 1 is a schematic side view of a vehicle 1 with a
  • the device for controlling an image forming device 2 of a head-up display in the vehicle 1 shown.
  • the device comprises a
  • Control device 3 for controlling the image forming device 2.
  • Image generating device 2 generates in response to control signals of
  • Control device 3 an image which is projected onto a curved, semi-transparent mirror 4.
  • the mirror 4 reflects light beams 5 emitted from the
  • Imaging device 2 are generated, in a detection range of a
  • Image capture device 6 In Fig. 1, the mirror 4 is shown as a separate component. Of course, however, the mirror 4 may also be part of the windshield or be formed by this.
  • the control device 3 controls the
  • Image generating device 2 such that an image object in the of the
  • Image generating device 2 generated image for a viewer, not shown, in particular a driver appears in a virtual display plane 7.
  • a vehicle coordinate system FK which is arranged stationarily with respect to the vehicle 1.
  • An origin of the vehicle coordinate system FK may be, for example, a center of a front axle of the vehicle 1.
  • a coordinate system BK of the image capture device 6 In a two-dimensional image, which is generated by the image capture device 6, Imaged objects can be referenced, for example, in this coordinate system BK of the image capture device 6. Further shown is a
  • Coordinate system DK of the virtual representation plane Objects that are displayed in the virtual representation plane 7, for example, in this
  • the image generation device 2 generates a two-dimensional reference pattern RM, which is shown for example in FIG. 3. This appears in the virtual display plane 7. Furthermore, the image capture device 6 from different layers and with different orientations in the vehicle coordinate system FK respectively generates images of the virtual representation plane 7, in which the projected reference pattern RM appears.
  • Vehicle in particular of the vehicle interior, for example, a steering wheel 8 and a ventilation grille 9, shown.
  • a position and optionally an orientation of the steering wheel 8 and the ventilation grille 9 in the vehicle coordinate system FK is previously known, for example from a referenced in the vehicle coordinate system FK CAD model.
  • an imaging function of the image capture device 6 may be known, which describes a mapping of objects in the capture region of the image capture device 6 into a two-dimensional image of the image capture device 6. This can e.g. depending on the previously explained imaging parameters of
  • Image capture device 6 in particular intrinsic imaging parameters e.g. by an appropriate calibration of the
  • Image capture device 6 can be determined.
  • the pixels can be determined.
  • FK coordinates of the steering wheel 8 and the ventilation grille 9 and in dependence of the mapping rule of Image capture device 6 can then be a position and / or orientation of the
  • Imaging device 6 are determined in the vehicle coordinate system FK, from / with which the image capture device 6 has generated the corresponding image.
  • Image acquisition device 6 also a mapping rule or transformation of the vehicle coordinate system FK in the coordinate system BK of
  • Imaging device 6 are determined in the vehicle coordinate system FK.
  • elements of the virtual representation level 7 are represented by elements of the virtual representation level 7
  • the sought-after mapping rule can be described, for example, in the form of a scaled Euclidean transformation, which assigns a point in the vehicle coordinate system FK to each point in the reference pattern RM, ie in the reference image, in the virtual representation plane 7.
  • Image capture device 6 in a two-dimensional image of the
  • Imaging device 6 are imaged.
  • image coordinates of elements of the reference pattern RM in the coordinate system BK of the image capture device 6 can be determined image-based. These can also be referred to as detected coordinates. Further, in dependence on the mapping rule for a mapping from the vehicle coordinate system FK to that described above, as described above Coordinate system BK of the image capture device 6 and the desired mapping rule of the coordinate system DK of the virtual representation plane 7 in the vehicle coordinate system FK calculated image coordinates of elements of the reference pattern RM in the coordinate system BK of the image capture device 6 are determined.
  • Vehicle coordinate system FK be determined. This then also results in a position and orientation of the virtual representation plane 7 in FIG.
  • the coordinate system DK of the virtual representation plane 7 can, for example, be constructed in such a way that the four outer vertices X T L, TR, BL, BR of the reference pattern RM (see FIG. 3) have the (nominated) coordinates (-1, 1), ( 1, 1), (-1, -1), (1, -1) are assigned in this coordinate system DK.
  • To simplify calculations in a transformation can be a third coordinate of a point in the virtual
  • the coordinate system DK of the virtual representation plane 7 can be a coordinate system uniquely determined by the reference pattern RM, in particular a geometric structure of the reference pattern RM.
  • the aberration here depends on the viewing position, which corresponds to the position of the image capture device 6 when generating an image. Furthermore, the aberration is dependent on a coordinate of a considered point in the virtual representation plane 7.
  • the aberration can thus be determined as a coordinate difference or distance between the image coordinate of a picture element imaged in the image acquisition device 6 and transformed into the coordinate system DK of the virtual representation plane 7 and a theoretically correct image coordinate of this pixel in the coordinate system DK of the virtual representation plane 7.
  • Coordinate system DK of the virtual representation level 7 has the theoretically correct image coordinates (-1). In the two-dimensional picture of the
  • Image capturing device 6 can then image-based identified the corresponding, mapped upper left vertex, wherein also its image coordinates in
  • Coordinate system BK of the image capture device 6 can be determined.
  • Coordinates can then be determined from the coordinate system BK of the image capture device by means of the corresponding mapping rule previously determined
  • this aberration can be described as a polynomial with five independent variables, where coefficients of these variables of the polynomial are determined such that e.g. a squared aberration or a distance for all elements of the reference pattern over all generated images of the image capture device 6 is minimized.
  • the variables include the three spatial coordinates of the observer's head position and the two image coordinates of the observed point in the virtual representation plane 7 in the coordinate system DK of the virtual representation plane 7.
  • the parameters determined in this way can then be used at runtime in order to calculate the aberration for a specific viewing position and a specific pixel in the virtual representation plane in a simple and timely manner
  • Actuate imaging device 2 such that the calculated aberration is minimized.
  • Fig. 2 shows a perspective view of a vehicle 1 with the various coordinate systems.
  • a vehicle coordinate system FK is shown.
  • a coordinate system BK of an image capture device 6 is shown.
  • Reference pattern RM (see Fig. 3) represent. These corner points X T L, XTR, XBL, XBR have the previously explained coordinates in the coordinate system DK of the virtual representation plane 7.
  • a reference pattern RM is shown, which is projected into the virtual representation plane 7. Also, a corresponding coordinate system DK of the virtual representation level 7 is shown. The corner points XTL, XTR, XBL, XBR are also shown.
  • the reference pattern RM comprises or contains a number of blurred drops 10, with only one drop being provided with a reference numeral 10 for the sake of simplicity. Blurred here means that a
  • a c forms an element of the reference pattern RM.
  • a coordinate of such an element corresponds to a coordinate of a geometric center of a blurred droplet 10.
  • a rough detection of an element can be carried out in a first step.
  • the previously explained determination of the position can then take place only in the area determined in the coarse detection.
  • geometric properties of the reference pattern RM for example the distances between the coordinates of the blurred drops 10 and their distances to the vertices x TL , x TR , X B L, XBR, the coordinates of the vertices x TL , XTR, XBL, XBR are determined. If these coordinates of the corner points X T L, XTR, XBL, XBR are determined, a size of the virtual representation plane 7 can also be determined.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung (2) eines Head-Up-Displays in einem Fahrzeug (1), wobei mittels der Bilderzeugungseinrichtung (2) ein zweidimensionales Referenzmuster (RM) erzeugt und mittels eines Projektionselements des Head-Up-Displays als projiziertes Referenzmuster (RM) dargestellt wird, wobei mittels mindestens einer Bilderfassungseinrichtung (6) eine Mehrzahl von zweidimensionalen Abbildern aus jeweils voneinander verschiedenen Lagen und/oder mit voneinander verschiedenen Orientierungen erzeugt wird, wobei in jedes Abbild der Mehrzahl von zweidimensionalen Abbildern das projizierte Referenzmuster (RM) zumindest teilweise abgebildet wird, wobei in einem Abbild jeweils Koordinaten zumindest eines abgebildeten Elements des Referenzmusters (RM) bestimmt werden, wobei zu jedem Abbild die entsprechende Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung (6) in einem Referenzkoordinatensystem erfasst oder bestimmt wird, wobei Koordinaten des mindestens einen abgebildeten Elements zumindest in Abhängigkeit von mindestens einem Abbildungsparameter einer ersten Abbildungsfunktion und in Abhängigkeit einer zweiten Abbildungsfunktion geschätzt werden, wobei die erste Abbildungsfunktion eine Abbildung von einem Koordinatensystem (DK) einer virtuellen Darstellungsebene (7) des Head-Up-Displays in das Referenzkoordinatensystem beschreibt, wobei die zweite Abbildungsfunktion eine Abbildung von dem Referenzkoordinatensystem in ein Koordinaten-system (BK) der Bilderfassungseinrichtung (6) in Abhängigkeit von der Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung (6) beschreibt, wobei der mindestens eine Abbildungsparameter der ersten Abbildungsfunktion derart bestimmt wird, dass eine Abweichung zwischen den bestimmten und geschätzten Koordinaten des abgebildeten Elements minimiert wird, wobei in Abhängigkeit des mindestens einen Abbildungsparameters eine Lage und/oder Orientierung der virtuellen Darstellungsebene (7) des Head-Up-Displays im Referenz-koordinatensystem bestimmt wird, wobei in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene (7) die Steuerung der Bilderzeugungseinrichtung (2) erfolgt.

Description

Verfahren und Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung eines Head- Up-Displays
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Steuerung einer
Bilderzeugungseinrichtung eines Head-Up-Displays in einem Fahrzeug.
Mit so genannten Augmented Reality Technologien lassen sich computergenerierte zwei- oder dreidimensionale Grafiken läge- und orientierungsrichtig in einen visuellen
Erfassungsbereich eines Beobachters einbetten.
So sind z.B. sogenannte Head-Up-Displays in einem Fahrzeug bekannt, die dazu genutzt werden, um einem Fahrzeugführer virtuelle dreidimensionale Grafiken in seinem Sichtfeld einzublenden. Diese können ihn beim Führen des Fahrzeuges unterstützen. Damit jedoch die generierten Grafiken für den Fahrzeugführer läge- und orientierungsrichtig in seinem Sichtfeld erscheinen, muss die Einblendung an aktuelle Rahmenbedingungen, insbesondere eine Geometrie des virtuellen Bildes und eine Position des Betrachters, angepasst werden. Insbesondere ist es erforderlich, ein Verzerrungsmuster, welches aus einer Spiegelung des virtuellen Bildes an einer nicht-planaren Windschutzscheibe des Fahrzeuges resultiert, zu berücksichtigen.
Die US 7,835,592 B2 beschreibt ein Verfahren zum Anpassen eines Bildes, welches auf eine krumme Oberfläche projiziert wird. Das Verfahren umfasst die Erfassung von Kalibrierpunkten in einem Kalibrierbild, welches auf die gekrümmte Oberfläche projiziert wird. Weiter umfasst das Verfahren die Analyse der Kalibrierpunkte, um relative
Positionen der Kalibrierpunkte zueinander zu bestimmen.
Die US 2008/0088526 A1 offenbart ein Verfahren zum Rendern eines Bildes, welches auf eine nicht-planare Oberfläche auftrifft. Die Druckschrift beschreibt hierbei auch, dass eine neue Kalibrierung erforderlich ist, falls ein Betrachtungspunkt eines Betrachters verändert wird.
Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung eines Head-Up-Displays in einem Fahrzeug zu schaffen, welche eine möglichst optimale läge- und orientierungsrichtige Anzeige von virtuellen Objekten in einem Sichtfeld eines Fahrzeugführers ermöglichen. Weiter stellt sich das technische Problem, die läge- und orientierungsrichtige Anzeige in Abhängigkeit von einer veränderlichen Betrachterposition zu ermöglichen.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Es ist eine Grundidee der Erfindung, in einem Kalibriervorgang eine Lage und/oder Orientierung einer virtuellen Bildebene in einem Referenzkoordinatensystem zu bestimmen, wobei dem Fahrzeugführer virtuelle Objekte in dieser virtuellen Bildebene angezeigt werden. In Abhängigkeit der Lage und/oder Orientierung in dem
Referenzkoordinatensystem kann dann eine läge- und orientierungsrichtige Darstellung von Objekten erfolgen, wobei Objektkoordinaten ebenfalls im Referenzkoordinatensystem bekannt oder zumindest bestimmbar sind. Das anzuzeigende virtuelle Objekt kann insbesondere ein dreidimensionales virtuelles Objekt sein. Eine weitere Grundidee ist es, dem Fahrzeugführer ein virtuelles Objekt derart darzustellen, dass der Fahrzeugführer das virtuelle Objekt aus einer beliebigen Betrachtungsposition heraus verzerrungsfrei wahrnehmen kann.
Vorgeschlagen wird ein Verfahren zur Steuerung einer Bilderzeugungseinrichtung eines Head-Up-Displays in einem Fahrzeug. Die Bilderzeugungseinrichtung kann auch als Projektor bezeichnet werden.
Das Head-Up-Display bezeichnet hierbei ein System oder eine Vorrichtung zur Anzeige von insbesondere virtuellen Objekten, insbesondere virtuellen dreidimensionalen
Objekten, in einem Sichtfeld eines Fahrzeugführers. Das Head-Up-Display kann neben der Bilderzeugungseinrichtung auch Mittel zur Strahlführung bzw. -lenkung umfassen, mittels derer von der Bilderzeugungseinrichtung erzeugte Strahlen in einer gewünschten Weise geführt bzw. gelenkt werden. Weiter kann das Head-Up-Display auch ein, insbesondere semitransparentes, Projektionselement umfassen, welches z.B. eine Projektionsfläche ausbildet, auf die das von der Bilderzeugungseinrichtung erzeugte Bild projiziert wird. Dieses Projektionselement kann hierbei derart angeordnet sein, dass von der Bilderzeugungseinrichtung erzeugte Strahlen derart von dem Projektionselement reflektiert werden, dass sie von einem Fahrzeugführer nach der Projektion erfasst werden können.
Mittels der Bilderzeugungseinrichtung wird ein zweidimensionales Referenzmuster erzeugt. Dieses zweidimensionale Referenzmuster wird mittels des Projektionselements des Head-Up-Displays als projiziertes Referenzmuster dargestellt. Das zweidimensionale Referenzmuster kann also in Form eines zweidimensionalen Bildes durch die
Bilderzeugungseinrichtung erzeugt werden.
Mittels mindestens einer Bilderfassungseinrichtung wird eine Mehrzahl von
zweidimensionalen Abbildern aus jeweils voneinander verschiedenen Lagen und/oder mit jeweils voneinander verschiedenen Orientierungen der mindestens einen
Bilderfassungseinrichtung erzeugt. Dies bedeutet, dass mindestens zwei, vorzugsweise eine Sequenz von mehr als zwei, zweidimensionale(n) Abbilder(n) erzeugt wird, wobei die Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung derart verändert wird, dass jedes Abbild mit einer abbildspezifischen Lage und/oder Orientierung erzeugt wird, die sich von abbildspezifischen Lagen und/oder Orientierungen der
Bilderfassungseinrichtung bei der Erzeugung der weiteren Abbilder der Sequenz unterscheidet.
Die Bilderfassungseinrichtung kann insbesondere als Kamera, beispielsweise als
Webcam, ausgebildet sein. Selbstverständlich können auch mehrere
Bilderfassungseinrichtungen zur Erzeugung der Abbilder verwendet werden.
Vorzugsweise jedoch werden die Abbilder von genau einer Bilderfassungseinrichtung erzeugt.
Weiter wird zu jedem Abbild die entsprechende Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung in einem Referenzkoordinatensystem erfasst oder bestimmt. Im Sinne der Erfindung bedeutet Erfassen, dass eine Lage und/oder Orientierung mittels entsprechender Erfassungseinrichtungen, beispielsweise Sensoren, erfasst wird. So können z.B. bekannte Lage- und/oder Orientierungserfassungssysteme, beispielsweise optische, magnetische oder mechanische Erfassungssysteme, verwendet werden, um die Lage und/oder Orientierung der Bilderfassungseinrichtung zu erfassen. Im Sinne der Erfindung bedeutet Bestimmen, dass die Lage und/oder Orientierung der Bilderfassungseinrichtung nicht unmittelbar erfasst, sondern in Abhängigkeit von
Informationen, die zumindest teilweise abhängig von einer Lage und/oder Orientierung der Bilderfassungseinrichtung sind, bestimmt werden, insbesondere rechnerisch bestimmt werden. Insbesondere kann eine Lage und/oder Orientierung der
Bilderfassungseinrichtung in Abhängigkeit von Bildinformationen der Abbilder bestimmt werden, die von der Bilderfassungseinrichtung aus der jeweiligen Lage und/oder
Orientierung erzeugt wurden. Dies wird nachfolgend näher erläutert.
In jedes Abbild der Mehrzahl von zweidimensionalen Abbildern ist das projizierte
Referenzmuster zumindest teilweise, vorzugsweise vollständig, abgebildet. Dies bedeutet, dass zumindest ein Teil des Referenzmusters aus verschiedenen Lagen und/oder mit verschiedenen Orientierungen der Bilderfassungseinrichtung erfasst und abgebildet wird. Selbstverständlich ist es vorstellbar, dass in der Mehrzahl von zweidimensionalen
Abbildern einzelne Abbilder existieren, in welche das projizierte Referenzmuster nicht abgebildet ist. Diese können jedoch bei der nachfolgend beschriebenen Auswertung nicht berücksichtigt werden.
In jedem Abbild werden jeweils Koordinaten zumindest eines abgebildeten Elements des Referenzmusters bestimmt. Somit kann das zweidimensionale Referenzmuster Elemente, insbesondere als Bildobjekt oder Bildpunkt ausgebildete Referenzelemente, enthalten, die derart ausgebildet sind, dass eine elementspezifische Bezugskoordinate möglichst eindeutig bestimmbar ist. So kann dem mindestens einen Element eine einzelne
Bezugskoordinate zugeordnet sein, beispielsweise eine Koordinate eines geometrischen Mittelpunkts, wobei in Abhängigkeit dieser Bezugskoordinate die Koordinate des
Elements bestimmbar ist. Vorzugsweise entspricht die Bezugskoordinate der
erfindungsgemäß zu bestimmenden Koordinate des zumindest einen Elements. Das Element kann beispielsweise kreis- oder kreuzförmig ausgebildet sein. Vorzugsweise ist das Element derart ausgebildet, dass es möglichst einfach und eindeutig bildbasiert detektierbar ist. Eindeutig bedeutet in diesem Zusammenhang, dass eine eindeutige Zuordnung eines abgebildeten Elements zu einem tatsächlichen Element im
Referenzmuster existiert. Eine solche eindeutige Zuordnung kann z.B. auch in
Abhängigkeit einer vorbestimmten Anordnung und/oder Gestaltung von Elementen im Referenzmuster bestimmt werden. So kann das Referenzmuster oder können die Elemente des Referenzmusters z.B. Färb- oder Helligkeitseigenschaften oder -verlaufe aufweisen, die eine eindeutige Zuordnung ermöglichen.
Weiter vorzugsweise ist das Element rotationsinvariant. Auch kann das Element eine eindeutig identifizierbare Farbcodierung aufweisen. Weiter kann das Element derart ausgebildet sein, dass es möglichst unabhängig von einer Bildschärfe oder Auflösung einer Anzeigeeinrichtung bildbasiert detektierbar ist. Ein weiteres Beispiel für ein Element kann eine weichgezeichnete Kreisform sein. Auch kann ein Element eine
kartoffelähnliche, z.B. ovale, Form aufweisen.
Auch vorstellbar ist, dass die Elemente durch ein das Referenzmuster bildende
Schachbrettmuster bereitgestellt werden, in welchem z.B. Schnittpunkte von Kanten zwischen weißen und schwarzen Feldern des Schachbrettmusters oder Punkte auf diesen Kanten die Elemente bereitstellen können. Die Verwendung derartiger Schachbrettmuster und die Identifikation von Elementen oder Punkten des Schachbrettmusters ist dem Fachmann aus dem Feld der Kamerakalibrierung, insbesondere zur Bestimmung von intrinsischen Parametern einer Kamera, bekannt.
Um die vorhergehend erläuterte eindeutige Zuordnung zu ermöglichen, kann/können zumindest ein oder zwei Feld(er) des Schachbrettmusters farblich mit einer Farbe, die von Schwarz und Weiß verschieden ist, ausgestaltet werden.
Das Bestimmen der Koordinaten erfolgt bildbasiert. Die Koordinaten des abgebildeten Elements werden hierbei in einem (zweidimensionalen) Koordinatensystem der
Bilderfassungseinrichtung bestimmt, welches auch als Bildkoordinatensystem bezeichnet werden kann.
Weiter werden Koordinaten des mindestens einen abgebildeten Elements zumindest in Abhängigkeit von mindestens einem Abbildungsparameter einer ersten
Abbildungsfunktion und in Abhängigkeit einer zweiten Abbildungsfunktion geschätzt. Die Koordinaten können hierbei ebenfalls im Koordinatensystem der
Bilderfassungseinrichtung geschätzt werden. Die erste Abbildungsfunktion beschreibt eine Abbildung von einem Koordinatensystem einer virtuellen Darstellungsebene, das auch als Ebenenkoordinatensystem beschrieben werden kann, des Head-Up-Displays in das Referenzkoordinatensystem. Abbildungsparameter der ersten Abbildungsfunktion können insbesondere eine Rotation, eine Translation und/oder eine Skalierung, insbesondere ein zweifache Skalierung, bei der Abbildung beschreiben. Eine zweifache Skalierung kann hierbei eine heterogene Skalierung mit zwei Skalierungsparametern sein, die eine Skalierung entlang zweier orthogonaler Achsen beschreiben, beispielsweise eine Skalierung in horizontaler und vertikaler Bildrichtung.
Hierbei bezeichnet die virtuelle Darstellungsebene eine Ebene, in welcher die von der Bilderzeugungseinrichtung erzeugten Bilder für den Betrachter, insbesondere den Fahrzeugführer, erscheinen. Diese virtuelle Darstellungsebene muss nicht zwingend mit der Ebene des vorhergehend erläuterten Projektionselements korrespondieren.
Die zweite Abbildungsfunktion beschreibt eine Abbildung von dem
Referenzkoordinatensystem in das Koordinatensystem der Bilderfassungseinrichtung in Abhängigkeit von der Lage und/oder Orientierung der mindestens einen
Bilderfassungseinrichtung. Durch die zweite Abbildungsfunktion werden intrinsische und/oder extrinsische Abbildungsparameter der Bilderfassungseinrichtung berücksichtigt. Extrinsische und intrinsische Abbildungsparameter der Bilderfassungseinrichtung beschreiben hierbei Parameter der Bilderfassungseinrichtung, die die Abbildung von Objekten im Erfassungsbereich in das zweidimensionale Abbild beeinflussen. Hierbei beschreiben die extrinsischen Abbildungsparameter die Lage und/oder Orientierung der Bilderfassungseinrichtung. Diese werden, wie vorhergehend erläutert, für jedes Abbild bestimmt oder erfasst.
Die intrinsischen Abbildungsparameter können beispielsweise in einem separat durchgeführten Kalibrierschritt bestimmt werden. Intrinsische Abbildungsparameter umfassen beispielsweise alle Eigenschaften, welche die Optik der Kamera beschreiben, z.B. Brennweite, Bildmittelpunkt, Bildscherung, nichtlineare Verzerrungen durch die Linse und weitere Eigenschaften.
Somit kann jedes der mehreren Abbilder mit den gleichen intrinsischen Parametern, jedoch mit unterschiedlichen extrinsischen Parametern erzeugt werden.
Weiter wird der mindestens eine Abbildungsparameter der ersten Abbildungsfunktion derart bestimmt werden, dass eine Abweichung zwischen den bestimmten und
geschätzten Koordinaten des abgebildeten Elements minimiert wird. Somit erfolgt also das Bestimmen des mindestens einen Parameters der ersten Abbildungsfunktion im Rahmen einer Minimierung, wobei eine Kostenfunktion abhängig von der Differenz zwischen den bestimmten und geschätzten Koordinaten ist. Beispielsweise kann die Kostenfunktion als Abstand oder quadrierte Differenz zwischen den bestimmten und geschätzten Koordinaten beschrieben werden.
Vorzugsweise werden in jedem Abbild bzw. für jedes Abbild die Koordinaten mehrerer, vorzugsweise aller abgebildeten, Elemente des Referenzmusters bestimmt und geschätzt. Entsprechend kann dann der mindestens eine Abbildungsparameter der ersten
Abbildungsfunktion derart bestimmt werden, dass eine Summe der Abweichung zwischen den bestimmten und geschätzten Koordinaten für alle Elemente, deren Koordinaten bestimmt und geschätzt wurden und für alle betrachteten Abbilder minimiert wird.
In Abhängigkeit des mindestens einen Abbildungsparameters wird dann eine Lage und/oder Orientierung der virtuellen Darstellungsebene des Head-Up-Displays im
Referenzkoordinatensystem bestimmt. Die virtuelle Darstellungsebene stellt bildlich gesprochen ein Fenster dar, durch welches der Betrachter, insbesondere der
Fahrzeugführer, aus seiner Betrachtungsposition heraus in eine virtuelle Welt blickt. In der virtuellen Welt vorhandene Objekte erfasst der Betrachter somit durch die virtuelle
Darstellungsebene hindurch. Die virtuelle Welt kann hierbei im
Referenzkoordinatensystem referenziert sein. Dies bedeutet, dass Koordinaten von Objekten der virtuellen Welt im Referenzkoordinatensystem bekannt oder bestimmbar sind. Somit kann vorteilhafterweise in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene bestimmt werden, welche Objekte der virtuellen Welt der Betrachter aus einer bestimmten Betrachtungsposition heraus wahrnehmen kann. Weiter kann bestimmt werden, wie Objekte der virtuellen Welt durch die
Bilderzeugungseinrichtung zur Anzeige gebracht werden müssen, damit sie aus Sicht des Betrachters perspektivisch korrekt erscheinen.
Objekte der virtuellen Welt können beispielsweise farbige virtuelle Markierungen von tatsächlichen Fahrbahnmarkierungen sein. So kann es beispielsweise wünschenswert sein, seitliche oder mittige Fahrbahnmarkierungen zur besseren visuellen Erfassung durch den Fahrzeugführer zusätzlich farbig zu markieren. Beispielsweise können diese tatsächlichen Fahrbahnmarkierungen durch ein geeignetes Erfassungssystem, beispielsweise ein optisches Erfassungssystem, erfasst und eine Lage und Orientierung der tatsächlichen Fahrbahnmarkierung im Referenzkoordinatensystem bestimmt werden. In Abhängigkeit dieser Lage und Orientierung kann dann die Bilderzeugungseinrichtung des Head-Up-Displays derart angesteuert werden, dass eine zusätzliche farbige
Markierung der tatsächlichen Fahrbahnmarkierung läge- und orientierungsrichtig in der virtuellen Darstellungsebene dargestellt wird.
In Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene erfolgt dann die Steuerung der Bilderzeugungseinrichtung. Somit bildet das erfindungsgemäße Verfahren ein Verfahren zur Kalibrierung des Head-up-Displays, insbesondere zur Kalibrierung der Bilderzeugungseinrichtung.
Insbesondere kann in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene die Ansteuerung der Bilderzeugungseinrichtung derart erfolgen, dass eine läge- und/oder orientierungsrichtige Anzeige von insbesondere virtuellen Objekten in der virtuellen Darstellungsebene erfolgt. Insbesondere kann in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene im Referenzkoordinatensystem bestimmt werden, an welcher/n (zweidimensionalen) Bildkoordinate/n des von der Bilderzeugungseinrichtung erzeugten Bildes ein darzustellendes virtuelles Objekt mit im Referenzkoordinatensystem bekannten Koordinaten dargestellt werden muss, um die vorhergehend erläuterte läge- und/oder orientierungsrichtige Darstellung in der virtuellen Darstellungsebene zu erreichen. Somit dient die Kalibrierung beispielsweise der
Bestimmung von Parametern zur Erzeugung des Bildes der Bilderzeugungseinrichtung.
Wie vorhergehend erläutert, ermöglicht das vorgeschlagene Verfahren somit in vorteilhafter Weise eine möglichst optimale läge- und/oder orientierungsrichtige
Darstellung von Objekten in der virtuellen Darstellungsebene eines Head-Up-Displays im Fahrzeug.
In einer bevorzugten Ausführungsform ist das Referenzkoordinatensystem ein
Fahrzeugkoordinatensystem. Dies ermöglicht in vorteilhafter Weise eine insbesondere rechentechnisch einfach zu implementierende Darstellung von virtuellen Objekten, da diese in der Regel im fahrzeugspezifischen Fahrzeugkoordinatensystem bekannt sind oder bestimmt werden.
In einer weiteren Ausführungsform wird in jedes Abbild der Mehrzahl von
zweidimensionalen Abbildern zumindest ein Teil des Fahrzeugs, insbesondere des Fahrzeuginnenraums, abgebildet. Die Lage und/oder Orientierung der
Bilderfassungseinrichtung im Referenzkoordinatensystem wird dann in Abhängigkeit des abgebildeten Teils des Fahrzeugs und einem im Referenzkoordinatensystem
referenzierten Modell des Fahrzeugs bestimmt. Das im Referenzkoordinatensystem referenzierte Modell kann beispielsweise ein CAD-Modell des Fahrzeugs, insbesondere des Fahrzeuginnenraums, sein.
So können beispielsweise zueinander korrespondierende Bereiche oder Elemente in einem von der Bilderfassungseinrichtung erzeugten Abbild und im Modell bestimmt werden. Da Koordinaten von Bereichen oder Elementen des Modells im
Referenzkoordinatensystem bekannt sind, kann in Abhängigkeit dieser Koordinaten und der vorhergehend erläuterten, insbesondere intrinsischen, Abbildungsparameter der Bilderfassungseinrichtung eine Lage und/oder Orientierung der Bilderfassungseinrichtung bestimmt werden. Dies kann z.B. in Abhängigkeit einer bekannten oder bestimmbaren Abbildungsvorschrift einer Abbildung von im Erfassungsbereich der
Bilderfassungseinrichtung angeordneten Objekten in ein zweidimensionales, von der Bilderfassungseinrichtung erfasstes Abbild erfolgen.
Insbesondere können sowohl in den von der Bilderfassungseinrichtung erzeugten Abbildern als auch im Modell so genannte Landmarken identifiziert werden, die zueinander korrespondieren. Landmarken bezeichnen hierbei Elemente oder Objekte, die bildbasiert einfach und vorzugsweise eindeutig zu identifizieren sind. Beispielsweise können Landmarken durch Lüftungsgitter ausgebildet werden. Landmarken können aber auch von Kanten und Ecken im Modell, die auch im Abbild sichtbar sind, gebildet werden. Diese können z.B. von Bedien- und/oder Zierelementen, wie z.B. Knöpfen, Leisten, Hebeln gebildet werden. Auch kann auf einer weiteren Anzeigeeinrichtung des
Fahrzeugs, beispielsweise auf einem Multifunktionsdisplay, welches auch von einem Navigationssystem genutzt wird, ein vorbekanntes Muster dargestellt werden, das mindestens eine Landmarke bereitstellt. Auch können künstliche Muster oder Marker im Fahrzeug angeordnet werden, deren Lage und/oder Orientierung vorab vermessen wird, beispielsweise ebenfalls kamerabasiert, und dann in das Modell integriert werden.
Derartige Muster oder Marker können z.B. auf oder an einer Windschutzscheibe angebracht werden.
Somit wird also eine bildbasierte Bestimmung der Lage und/oder Orientierung der Bilderfassungseinrichtung vorgeschlagen.
In einer weiteren Ausführungsform wird zusätzlich eine weitere Abbildungsvorschrift bestimmt, wobei die weitere Abbildungsvorschrift eine Abbildung von dem
Koordinatensystem der virtuellen Darstellungsebene in das Koordinatensystem der Bilderfassungseinrichtung beschreibt. Diese weitere Abbildungsvorschrift kann auch als eine so genannte 2D-2D-Transformation beschrieben werden.
Die weitere Abbildungsvorschrift kann für ein Abbild in Abhängigkeit des vorhergehend erläuterten mindestens einen Abbildungsparameters der ersten Abbildungsvorschrift, der nunmehr bekannt ist, der vorhergehend erläuterten, insbesondere intrinsischen,
Abbildungsparameter der Bilderfassungseinrichtung sowie der Lage und/oder
Orientierung der Bilderfassungseinrichtung bei der Erzeugung des Abbilds beschrieben werden.
Dies ermöglicht in vorteilhafter Weise eine unmittelbare Transformation zwischen den vorhergehend erläuterten Koordinatensystem, welche, wie nachfolgend näher erläutert, zur Bestimmung eines Verzerrungsfehlers genutzt werden kann.
In einer weiteren Ausführungsform wird für mehrere, also mindestens zwei, vorzugsweise für jedes, Abbild(er) ein Abbildungsfehler zumindest eines Elements, vorzugsweise aller Elemente, des Referenzmusters bestimmt. Der Abbildungsfehler bezeichnet hierbei eine Abweichung einer Lage des tatsächlich erfassten Elements des Referenzmusters von einer theoretisch richtigen Lage des Elements des Referenzmusters aus Sicht des Betrachters. Der Betrachter kann hierbei insbesondere ein Kraftfahrzeugführer oder Nutzer sein. Der Abbildungsfehler beruht z.B. auf Verzerrungseffekten, insbesondere durch eine gekrümmte Windschutzscheibe des Fahrzeugs, und/oder der
Verstärkungsoptik des Head-Up-Displays. Die Verzerrung ist hierbei in der Regel betrachtungspositionsabhängig sowie abhängig von einer Lage des Elements in der virtuellen Darstellungsebene (und somit auch einer Lage des Elements in der
vorhergehend erläuterten Bildebene des Projektionselements). In anderen Worten bedeutet dies, dass der Abbildungsfehler für jeden Punkt in der virtuellen
Darstellungsebene und für jede Betrachtungsposition verschieden sein kann.
Beispielsweise kann der Abbildungsfehler als Differenz oder Abstand zwischen bildbasiert bestimmten tatsächlichen Koordinaten zumindest eines Elements des Referenzmusters und theoretisch korrekten Koordinaten des Elements des Referenzmusters berechnet werden. Theoretische korrekte Koordinaten können Koordinaten des Elements bei einer Abbildung ohne Abbildungsfehler, also einer unverfälschten Abbildung, bezeichnen.
Zur Bestimmung des Abbildungsfehlers können die tatsächlichen und theoretisch korrekten Koordinaten des Elements des Referenzmusters vorzugsweise in einem
Koordinatensystem der virtuellen Darstellungsebene bestimmt werden. Es ist aber auch möglich, diese Koordinaten in einem anderen Koordinatensystem, beispielsweise in einem Koordinatensystem der Bilderfassungseinrichtung, zu bestimmen.
Beispielsweise kann im Abbild eine Koordinate eines abgebildeten Elements des
Referenzmusters bestimmt werden. Diese Koordinate kann dann mittels der
vorhergehend erläuterten weiteren Abbildungsvorschrift in das Koordinatensystem der virtuellen Darstellungsebene transformiert werden. Hierdurch ergibt sich eine geschätzte Koordinate des abgebildeten Elements im Koordinatensystem der virtuellen
Darstellungsebene. Z.B. in Abhängigkeit von vorbekannten (geometrischen)
Eigenschaften des Referenzmusters kann dann eine theoretisch korrekte Koordinate des abgebildeten Elements bestimmt werden.
Weiter wird in Abhängigkeit der Lage des Elements und einer Lage und/oder Orientierung der Bilderzeugungseinrichtung bei der Erzeugung des Abbilds ein Zusammenhang zwischen dem Abbildungsfehler, einer Betrachtungsposition und einer Lage eines anzuzeigenden Elements bestimmt. Die Lage des Elements bzw. des anzuzeigenden Elements kann beispielsweise als Koordinate des Elements im Koordinatensystem der virtuellen Darstellungsebene angegeben werden.
Der derart bestimmte Zusammenhang ermöglicht, dass zur Laufzeit in Abhängigkeit der Lage eines anzuzeigenden Elements und einer Betrachtungsposition eine Steuerung der Bilderzeugungseinrichtung derart erfolgen kann, dass der Abbildungsfehler minimiert wird. Selbstverständlich kann die Steuerung der Bilderzeugungseinrichtung auch in
Abhängigkeit einer Betrachtungsrichtung derart erfolgen, dass der Abbildungsfehler minimiert wird. Die Betrachtungsrichtung kann beispielsweise als Richtung eines Vektors von der Betrachtungsposition zu einem Mittelpunkt der virtuellen Darstellungsebene bestimmt werden. Selbstverständlich ist auch eine alternative Bestimmung der
Betrachtungsrichtung möglich.
Beispielsweise kann eine Koordinate eines anzuzeigenden Elements im von der
Bilderzeugungseinrichtung erzeugten Bild derart verändert werden, dass der
Abbildungsfehler minimiert wird. Zusammenfassend wird also eine Steuerung der
Bilderzeugungseinrichtung derart ermöglicht, dass in Abhängigkeit einer
Betrachtungsposition und gegebenenfalls einer Betrachtungsrichtung ein Abbildungsfehler minimiert und somit eine möglichst verzerrungsfreie Darstellung erfolgt.
Somit wird zur Laufzeit eine betrachterlage- und betrachterorientierungsabhängige Korrektur des Abbildungsfehlers ohne erneute Kalibrierung ermöglicht.
Durch die Steuerung der Bilderzeugungseinrichtung derart, dass der Abbildungsfehler minimiert wird, erfolgt somit eine betrachtungspositions- und lageabhängige Entzerrung des in der virtuellen Darstellungsebene anzuzeigenden Elements.
Für das vorgeschlagene Verfahren kann es erforderlich sein, die Betrachtungsposition und gegebenenfalls auch eine Blickrichtung des Betrachters, insbesondere des
Fahrzeugführers, zu erfassen oder zu bestimmen. Beispielsweise kann eine Kopfposition und/oder Kopforientierung des Betrachters durch ein geeignetes Erfassungssystem, beispielsweise ein optisches Erfassungssystem, erfasst werden, wobei in Abhängigkeit der Kopfposition und/oder Kopforientierung eine Betrachtungsposition und gegebenenfalls eine Blickrichtung des Betrachters im Referenzkoordinatensystem bestimmt werden kann.
Alternativ ist es auch möglich, ein Entzerrungsmodell rechnerisch aus Konstruktionsdaten des Head-Up-Displays und des Fahrzeugs zu bestimmen. Hierzu können beispielsweise Parameter des Head-Up-Displays und des Fahrzeugs, wie z.B. eine Spiegelkrümmung des Projektionselements des Head-up-Displays und eine Scheibenkrümmung der Windschutzscheibe des Fahrzeugs, berücksichtigt werden. Dies ermöglicht somit eine modellbasierte Steuerung der Bilderzeugungseinrichtung derart, dass der
Abbildungsfehler in Abhängigkeit der Betrachtungsposition und der Koordinate des zumindest einen Elements minimiert wird. Allerdings können bei einer solchen
rechnerischen Bestimmung Abweichungen durch Fertigungstoleranzen und Einbaufehler nicht erfasst werden. Diese können aber in vorteilhafter Weise durch das vorgeschlagene Verfahren bestimmt werden.
Somit wird in vorteilhafter Weise die Anzahl von erzeugten Abbildern genutzt, um eine bildbasierte Entzerrung bei einem späteren Einsatz des Head-Up-Display zu ermöglichen.
Dies ermöglicht wiederum, zu jeder beliebigen Betrachtungsposition ein verzerrungsfreies Bild zu generieren, was insbesondere dann von Vorteil ist, wenn der Betrachter seine Betrachtungsposition verändert, insbesondere kontinuierlich verändert.
In einer weiteren Ausführungsform wird ein Zusammenhang zwischen der
Betrachtungsposition, der Lage des anzuzeigenden Elements und dem in der jeweiligen Betrachtungsposition vorhandenen Abbildungsfehler als parametrisiertes Modell bestimmt, wobei die Parameter des parametrisierten Modells derart bestimmt werden, dass der Abbildungsfehler für eine Mehrzahl von Lagen der Bilderfassungseinrichtung und/oder eine Mehrzahl von Elementen des Referenzmusters minimal ist. Hierbei entspricht die Lage der Bilderfassungseinrichtung einer möglichen Betrachtungsposition eines Betrachters.
Beispielsweise können die Parameter derart bestimmt werden, dass die Summe von quadrierten Abbildungsfehlern für eine Mehrzahl von Lagen der Bilderfassungseinrichtung und/oder für eine Mehrzahl von Elementen des Referenzmusters minimal ist.
Selbstverständlich können jedoch auch andere Kostenfunktionen zur Optimierung verwendet werden.
Das vorgeschlagene Verfahren ermöglicht in vorteilhafter Weise, dass zur Laufzeit des Verfahrens eine möglichst zeitlich schnelle und einfache Berechnung des
Abbildungsfehlers und somit auch eine möglichst schnelle Anpassung der Steuerung der Bilderzeugungseinrichtung erfolgen kann. In anderen Worten bedeutet dies, dass ein Entzerrungsmuster, welches für eine bestimmte Betrachtungsposition die
Abbildungsfehler für eine Mehrzahl oder alle Bildpunkte des in der virtuellen
Darstellungsebene dargestellten Abbilds beschreibt, in Abhängigkeit des parametrisierten Modells generiert werden kann. In Abhängigkeit des Entzerrungsmusters kann dann wiederum die Bilderzeugungseinrichtung derart angesteuert werden, dass der
Abbildungsfehler minimiert wird.
In einer bevorzugten Ausführungsform ist das parametrisierte Modell durch ein Polynom mit einer vorbestimmten Anzahl von unabhängigen Variablen gegeben. Die Variablen können insbesondere die Koordinaten der Betrachtungsposition sein (x-Position, y- Position, z-Position des Kopfes) sowie eine horizontale Koordinate und eine vertikale Koordinate des betrachteten Bildpunkts in der virtuellen Bildebene.
Dieser Grad ist zur Laufzeit dann vorbestimmt, aber zum Zeitpunkt der Kalibrierung beliebig wählbar.
Der Grad des Polynoms kann jedoch beliebig sein. Je höher er ist, desto besser kann die Nichtlinearität der Verzerrung abgebildet werden. Allerdings sind dann mehr Messungen erforderlich, um alle Koeffizienten hinreichend genau bestimmen zu können.
Durch die Verwendung von Polynomen ergibt sich in vorteilhafter Weise eine
Approximierung der nichtlinearen Verzerrung mit einer gewünschten Genauigkeit. Weiter lassen sich Polynome mit geringem Rechenaufwand auswerten und sind daher rechentechnisch effizient.
In einer weiteren Ausführungsform wird der Abbildungsfehler als Koordinatendifferenz zwischen theoretisch korrekten Koordinaten eines Elements des Referenzmusters in der virtuellen Darstellungsebene in einem Koordinatensystem der virtuellen
Darstellungsebene und Koordinaten eines aus dem Abbild der Bilderfassungseinrichtung in die virtuelle Darstellungsebene transformierten korrespondierenden Elements bestimmt. Dies wurde vorhergehend erläutert. Die Koordinatendifferenz kann auch als Abstand zwischen einer theoretisch korrekten Lage des Elements und der Lage eines transformierten Elements bestimmt werden. Die Transformation vom Abbild der Bilderfassungseinrichtung in die virtuelle
Darstellungsebene bezeichnet hierbei eine Berechnung von Koordinaten eines transformierten Bildpunkts im Koordinatensystem der virtuellen Darstellungsebene in Abhängigkeit von Koordinaten eines Bildpunkts im Koordinatensystem der
Bilderfassungseinrichtung. Der Bildpunkt im Koordinatensystem der
Bilderfassungseinrichtung und der ins Koordinatensystem der virtuellen
Darstellungsebene transformierte Bildpunkt korrespondieren hierbei zueinander. Die Transformation kann insbesondere durch die vorhergehend erläuterte weitere
Abbildungsvorschrift beschrieben werden.
Dies erlaubt eine möglichst einfache Bestimmung des Abbildungsfehlers.
In einer weiteren Ausführungsform weist das Referenzmuster eine Vielzahl von in einer Matrixform angeordneten verschwommenen Tropfen auf. Verschwommene Tropfen bezeichnen hierbei kreisförmige Elemente, die jedoch keinen eindeutig identifizierbaren Objektrand aufweisen. Ein eindeutig identifizierbarer Rand ist beispielsweise gegeben, falls ein Betrag einer Intensitätsdifferenz zwischen Bildpunkten des Objekts und
Bildpunkten außerhalb des Objekts größer als ein vorbestimmter Schwellwert ist oder falls ein Betrag eines Intensitätsgradienten zwischen zwei benachbarten Bildpunkten oder zwischen zwei mit einem vorbestimmten Abstand beabstandeten Bildpunkten größer als ein vorbestimmter Schwellwert ist.
In Matrixform bedeutet hierbei, dass Mittelpunkte der verschwommenen Tropfen in einer horizontalen und vertikalen Bildrichtung jeweils untereinander bzw. nebeneinander angeordnet sind.
Dies ermöglicht in vorteilhafter Weise eine möglichst einfache bildbasierte Bestimmung einer Bezugskoordinate eines Elements des Referenzmusters, wobei die
Bezugskoordinate insbesondere einem Mittelpunkt eines verschwommenen Tropfens entspricht. Weiter vorgeschlagen wird eine Vorrichtung zur Steuerung einer
Bilderzeugungseinrichtung eines Head-up-Displays in einem Fahrzeug. Die Vorrichtung umfasst mindestens eine Steuereinrichtung.
Mittels einer Bilderzeugungseinrichtung ist ein zweidimensionales Referenzmuster erzeugbar und mittels eines Projektionselements des Head-up-Displays als projiziertes Referenzmuster darstellbar. Hierbei können die Bilderzeugungseinrichtung und das Projektionselement Teil der vorgeschlagenen Vorrichtung sein.
Weiter ist mittels mindestens einer Bilderfassungseinrichtung eine Mehrzahl von zweidimensionalen Abbildern mit jeweils voneinander verschiedenen Lagen und/oder Orientierungen der Bilderfassungseinrichtung erzeugbar und zu jedem Abbild die entsprechende Lage und/oder Orientierung der mindestens einen
Bilderfassungseinrichtung in einem Referenzkoordinatensystem erfassbar oder bestimmbar. Hierbei kann die mindestens eine Bilderfassungseinrichtung Teil der vorgeschlagenen Vorrichtung sein.
Weiter ist in jedes Abbild der Mehrzahl von zweidimensionalen Abbildern das projizierte Referenzmuster zumindest teilweise abbildbar.
Weiter sind mittels der Steuereinrichtung oder einer weiteren Steuer- und
Auswerteeinrichtung in einem Abbild Koordinaten zumindest eines abgebildeten Elements des Referenzmusters bestimmbar. Weiter sind Koordinaten des mindestens einen abgebildeten Elements zumindest in Abhängigkeit von mindestens einem
Abbildungsparameter einer ersten Abbildungsfunktion und in Abhängigkeit einer zweiten Abbildungsfunktion schätzbar, wobei die erste Abbildungsfunktion eine Abbildung von einem Koordinatensystem einer virtuellen Darstellungsebene des Head-Up-Displays in das Referenzkoordinatensystem beschreibt, wobei die zweite Abbildungsfunktion eine Abbildung von dem Referenzkoordinatensystem in ein Koordinatensystem der
Bilderfassungseinrichtung in Abhängigkeit von der Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung beschreibt.
Der mindestens eine Abbildungsparameter der ersten Abbildungsfunktion ist derart bestimmbar, dass eine Abweichung, insbesondere ein Abstand, zwischen den bestimmten und geschätzten Koordinaten des abgebildeten Elements minimiert wird. Weiter ist in Abhängigkeit des mindestens einen Abbildungsparameters eine Lage und/oder Orientierung der virtuellen Darstellungsebene des Head-Up-Displays im
Referenzkoordinatensystem bestimmbar.
Auch die weitere Steuer- und Auswerteeinrichtung kann Teil der vorgeschlagenen Vorrichtung sein.
Mittels der Steuereinrichtung erfolgt in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene die Steuerung der Bilderzeugungseinrichtung.
Mittels der vorgeschlagenen Vorrichtung ist in vorteilhafter Weise eines der vorhergehend erläuterten Verfahren durchführbar. Somit kann die vorgeschlagene Vorrichtung insbesondere derart ausgebildet sein, dass eines der vorhergehend erläuterten Verfahren mittels der Vorrichtung durchführbar ist.
In einer weiteren Ausführungsform ist ein Zusammenhang zwischen einem
Abbildungsfehler, einer Betrachtungsposition und einer Lage eines anzuzeigenden Elements bestimmbar. Dies kann beispielsweise, wie vorhergehend erläutert, erfolgen, indem für mehrere, insbesondere jedes, Abbild(er) ein Abbildungsfehler zumindest eines Elements des Referenzmusters bestimmt wird, wobei in Abhängigkeit einer Lage des Elements und einer Lage und/oder Orientierung der Bilderzeugungseinrichtung der Zusammenhang zwischen dem Abbildungsfehler, einer Betrachtungsposition und einer Lage eines anzuzeigenden Elements bestimmt wird.
Dann ist, insbesondere zu einem späteren Zeitpunkt, insbesondere zur Laufzeit, mittels der Steuereinrichtung in Abhängigkeit der Lage eines anzuzeigenden Elements und der Betrachtungsposition der Abbildungsfehler bestimmbar, wobei die Steuerung der Bilderzeugungseinrichtung in Abhängigkeit des Abbildungsfehlers erfolgt. Die Steuerung erfolgt insbesondere derart, dass ein Abbildungsfehler minimiert wird.
Dies ermöglicht in vorteilhafter Weise eine möglichst verzerrungsfreie Darstellung für eine Vielzahl von Betrachtungspositionen. Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Figuren zeigen:
Fig. 1 eine schematische Seitenansicht eines Fahrzeugs mit einer Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung,
Fig. 2 eine perspektivische Ansicht eines Fahrzeugs und
Fig. 3 ein beispielhaftes Referenzmuster.
Nachfolgend bezeichnen gleiche Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
In Fig. 1 ist eine schematische Seitenansicht eines Fahrzeugs 1 mit einer
erfindungsgemäßen Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung 2 eines Head-Up-Displays in dem Fahrzeug 1 dargestellt. Die Vorrichtung umfasst eine
Steuereinrichtung 3 zur Steuerung der Bilderzeugungseinrichtung 2. Die
Bilderzeugungseinrichtung 2 erzeugt in Abhängigkeit von Steuersignalen der
Steuereinrichtung 3 ein Bild, welches auf einen gekrümmten, semitransparenten Spiegel 4 projiziert wird. Der Spiegel 4 reflektiert Lichtstrahlen 5, die von der
Bilderzeugungseinrichtung 2 erzeugt werden, in einen Erfassungsbereich einer
Bilderfassungseinrichtung 6. In Fig. 1 ist der Spiegel 4 als separates Bauteil dargestellt. Selbstverständlich kann der Spiegel 4 jedoch auch Teil der Windschutzscheibe sein oder von dieser ausgebildet werden. Die Steuereinrichtung 3 steuert hierbei die
Bilderzeugungseinrichtung 2 derart an, dass ein Bildobjekt im von der
Bilderzeugungseinrichtung 2 erzeugten Bild für einen nicht dargestellten Betrachter, insbesondere einen Fahrzeugführer, in einer virtuellen Darstellungsebene 7 erscheint.
Weiter dargestellt ist ein Fahrzeugkoordinatensystem FK, welches ortsfest in Bezug auf das Fahrzeug 1 angeordnet ist. Ein Ursprung des Fahrzeugkoordinatensystems FK kann beispielsweise ein Mittelpunkt einer Vorderachse des Fahrzeugs 1 sein.
Weiter dargestellt ist ein Koordinatensystem BK der Bilderfassungseinrichtung 6. In ein zweidimensionales Abbild, welches von der Bilderfassungseinrichtung 6 erzeugt wird, abgebildete Objekte können beispielsweise in diesem Koordinatensystem BK der Bilderfassungseinrichtung 6 referenziert werden. Weiter dargestellt ist ein
Koordinatensystem DK der virtuellen Darstellungsebene. Objekte, die in der virtuellen Darstellungsebene 7 dargestellt werden, können beispielsweise in diesem
Koordinatensystem BK der virtuellen Darstellungsebene 7 referenziert werden.
Es ist ein Ziel der Erfindung, die Lage und Orientierung der virtuellen Darstellungsebene 7 im Fahrzeugkoordinatensystem FK zu bestimmen.
Hierzu erzeugt die Bilderzeugungseinrichtung 2 ein zweidimensionales Referenzmuster RM, welches beispielsweise in Fig. 3 dargestellt ist. Dieses erscheint in der virtuellen Darstellungsebene 7. Weiter erzeugt die Bilderfassungseinrichtung 6 aus verschiedenen Lagen und mit verschiedenen Orientierungen im Fahrzeugkoordinatensystem FK jeweils Abbilder der virtuellen Darstellungsebene 7, in der das projizierte Referenzmuster RM erscheint.
Gleichzeitig werden in die Abbilder der Mehrzahl von Abbildungen Elemente des
Fahrzeugs, insbesondere des Fahrzeuginnenraums, beispielsweise ein Lenkrad 8 und ein Lüftungsgitter 9, abgebildet. Eine Lage und gegebenenfalls eine Orientierung des Lenkrads 8 und des Lüftungsgitters 9 im Fahrzeugkoordinatensystem FK ist vorbekannt, beispielsweise aus einem im Fahrzeugkoordinatensystem FK referenzierten CAD-Modell.
Weiter kann eine Abbildungsfunktion der Bilderfassungseinrichtung 6 bekannt sein, die eine Abbildung von Objekten im Erfassungsbereich der Bilderfassungseinrichtung 6 in ein zweidimensionales Abbild der Bilderfassungseinrichtung 6 beschreibt. Diese kann z.B. in Abhängigkeit der vorhergehend erläuterten Abbildungsparameter der
Bilderfassungseinrichtung 6 beschrieben werden, wobei insbesondere intrinsische Abbildungsparameter z.B. durch eine entsprechende Kalibrierung der
Bilderfassungseinrichtung 6 bestimmt werden. Insbesondere kann die
Abbildungsvorschrift der Bilderfassungseinrichtung 6 als perspektivische Projektion beschrieben werden.
In Abhängigkeit der im Fahrzeugkoordinatensystem FK bekannten Koordinaten des Lenkrads 8 und des Lüftungsgitters 9 sowie in Abhängigkeit der Abbildungsvorschrift der Bilderfassungseinrichtung 6 kann dann eine Lage und/oder Orientierung der
Bilderfassungseinrichtung 6 im Fahrzeugkoordinatensystem FK bestimmt werden, aus/mit der die Bilderfassungseinrichtung 6 das entsprechende Abbild erzeugt hat.
Ist eine Lage und Orientierung der Bilderfassungseinrichtung 6 bekannt, so kann in Abhängigkeit der vorhergehend erläuterten Abbildungsvorschrift der
Bilderfassungseinrichtung 6 auch eine Abbildungsvorschrift bzw. Transformation vom Fahrzeugkoordinatensystem FK in das Koordinatensystem BK der
Bilderfassungseinrichtung 6 bzw. vom Koordinatensystem BK der
Bilderfassungseinrichtung 6 ins Fahrzeugkoordinatensystem FK bestimmt werden.
Gesucht wird eine Abbildungsvorschrift von dem Koordinatensystem DK der virtuellen Darstellungsebene 7 in das Fahrzeugkoordinatensystem FK.
Beispielsweise können Elementen des in der virtuellen Darstellungsebene 7
erscheinenden oder in die virtuelle Darstelungsebene 7 abgebildeten Referenzmusters RM normalisierte Koordinaten im Koordinatensystem DK der virtuellen Darstellungsebene 7 zugeordnet werden. Die gesuchte Abbildungsvorschrift beschreibt dann die
Transformation vom Koordinatensystem DK der virtuellen Darstellungsebene 7 in das Fahrzeugkoordinatensystem FK. Die gesuchte Abbildungsvorschrift kann beispielsweise in Form einer skalierten euklidischen Transformation beschrieben werden, welche jedem Punkt im Referenzmuster RM, also im Referenzbild, in der virtuellen Darstellungsebene 7 einen Punkt im Fahrzeugkoordinatensystem FK zuordnet.
Weiter kann angenommen werden, dass auch die Punkte der virtuellen
Darstellungsebene 7 durch die vorhergehend erläuterte Abbildungsvorschrift der
Bilderfassungseinrichtung 6 in eine zweidimensionale Abbildung der
Bilderfassungseinrichtung 6 abgebildet werden.
Im Abbild der Bilderfassungseinrichtung 6 können Bildkoordinaten von Elementen des Referenzmusters RM im Koordinatensystem BK der Bilderfassungseinrichtung 6 bildbasiert bestimmt werden. Diese können auch als erfasste Koordinaten bezeichnet werden. Weiter können in Abhängigkeit der, wie vorhergehend erläutert, bekannten Abbildungsvorschrift für eine Abbildung vom Fahrzeugkoordinatensystem FK in das Koordinatensystem BK der Bilderfassungseinrichtung 6 und der gesuchten Abbildungsvorschrift von dem Koordinatensystem DK der virtuellen Darstellungsebene 7 in das Fahrzeugkoordinatensystem FK berechnete Bildkoordinaten von Elementen des Referenzmusters RM im Koordinatensystem BK der Bilderfassungseinrichtung 6 bestimmt werden.
Die Parameter der gesuchten Abbildungsvorschrift von dem Koordinatensystem DK der virtuellen Darstellungsebene 7 in das Fahrzeugkoordinatensystem FK können
insbesondere als Parameter bestimmt werden, die die Summe der quadrierte Differenz oder des Abstands zwischen den bildbasiert bestimmten und berechneten Bildkoordinaten der Elemente des Referenzmusters RM minimieren.
Somit können in vorteilhafter Weise Parameter der gesuchten Abbildungsvorschrift vom Koordinatensystem DK der virtuellen Darstellungsebene 7 in das
Fahrzeugkoordinatensystem FK bestimmt werden. Hieraus ergibt sich dann eine auch eine Lage und Orientierung der virtuellen Darstellungsebene 7 im
Fahrzeugkoordinatensystem FK.
Das Koordinatensystem DK der virtuellen Darstellungsebene 7 kann beispielsweise derart aufgebaut sein, dass den vier äu ßeren Eckpunkte XTL, TR, BL, BR des Referenzmusters RM (siehe Fig. 3) die (nominierten) Koordinaten (-1 , 1 ), (1 , 1 ), (-1 , -1 ), (1 , -1 ) in diesem Koordinatensystem DK zugeordnet werden. Um Berechnungen bei einer Transformation zu vereinfachen kann eine dritte Koordinate eines Punktes in der virtuellen
Darstellungsebene als vorbestimmter Wert, beispielsweise 1 , angenommen werden. Somit kann das Koordinatensystem DK der virtuellen Darstellungsebene 7 ein durch das Referenzmuster RM, insbesondere einen geometrischen Aufbau des Referenzmusters RM, eindeutig festgelegtes Koordinatensystem sein.
Weiter kann für jede Lage und Orientierung der Bilderfassungseinrichtung 6 ein
Abbildungsfehler bestimmt werden. Der Abbildungsfehler ist hierbei abhängig von der Betrachtungsposition, die der Lage der Bilderfassungseinrichtung 6 bei Erzeugung eines Abbildes entspricht. Weiter ist der Abbildungsfehler abhängig von einer Koordinate eines betrachteten Punktes in der virtuellen Darstellungsebene 7. Der Abbildungsfehler kann somit als Koordinatendifferenz oder Abstand zwischen der Bildkoordinate eines im Abbild der Bilderfassungseinrichtung 6 abgebildeten und in das Koordinatensystem DK der virtuellen Darstellungsebene 7 transformierten Bildpunkts und einer theoretisch korrekten Bildkoordinate dieses Bildpunktes in dem Koordinatensystem DK der virtuellen Darstellungsebene 7 bestimmt werden.
Beispielsweise kann angenommen werden, dass ein linker oberer Punkt XTL im
Koordinatensystem DK der virtuellen Darstellungsebene 7 die theoretisch korrekten Bildkoordinaten (-1 ) aufweist. In der zweidimensionalen Abbildung der
Bilderfassungseinrichtung 6 kann dann der korrespondierende, abgebildete obere linke Eckpunkt bildbasiert identifiziert werden, wobei auch dessen Bildkoordinaten im
Koordinatensystem BK der Bilderfassungseinrichtung 6 bestimmt werden. Diese
Koordinaten können dann mittels der entsprechenden Abbildungsvorschrift, die vorhergehend bestimmt wurde, vom Koordinatensystem BK der Bilderfassungseinrichtung
6 in das Koordinatensystem DK der virtuellen Darstellungsebene 7 transformiert werden.
Dieser Abbildungsfehler kann insbesondere als Polynom mit fünf unabhängigen Variablen beschrieben werden, wobei Koeffizienten dieser Variablen des Polynoms derart bestimmt werden, dass z.B. eine quadrierter Abbildungsfehler oder ein Abstand für alle Elemente des Referenzmusters über alle erzeugten Abbilder der Bilderfassungseinrichtung 6 minimiert wird. Die Variablen umfassen die drei Raumkoordinaten der Kopfposition des Betrachters und die zwei Bildkoordinaten des betrachteten Punktes in der virtuellen Darstellungsebene 7 im Koordinatensystem DK der virtuellen Darstellungsebene 7.
Die derart bestimmten Parameter können dann zur Laufzeit verwendet werden, um eine einfache und zeitlich schnelle Berechnung des Abbildungsfehlers für eine bestimmte Betrachtungsposition und einen bestimmten Bildpunkt in der virtuellen Darstellungsebene
7 zu ermöglichen. Dann wiederum kann die Steuereinrichtung 3 die
Bilderzeugungseinrichtung 2 derart ansteuern, dass der berechnete Abbildungsfehler minimiert wird.
Fig. 2 zeigt eine perspektivische Ansicht eines Fahrzeugs 1 mit den verschiedenen Koordinatensystemen. So ist ein Fahrzeugkoordinatensystem FK dargestellt. Weiter ist ein Koordinatensystem BK einer Bilderfassungseinrichtung 6 (siehe Fig. 1 ) dargestellt. Ebenfalls dargestellt ist ein Koordinatensystem DK der virtuellen Darstellungsebene 7. Ebenfalls dargestellt sind Eckpunkte XBL, XTL, XTR, XBR, die jeweils Eckpunkte eines
Referenzmusters RM (siehe Fig. 3) darstellen. Diese Eckpunkte XTL, XTR, XBL, XBR weisen die vorhergehend erläuterten Koordinaten im Koordinatensystem DK der virtuellen Darstellungsebene 7 auf.
In Fig. 3 ist exemplarisch ein Referenzmuster RM dargestellt, welches in die virtuelle Darstellungsebene 7 projiziert ist. Ebenfalls ist ein entsprechendes Koordinatensystem DK der virtuellen Darstellungsebene 7 dargestellt. Ferner dargestellt sind die Eckpunkte XTL, XTR, XBL, XBR- Das Referenzmuster RM umfasst oder enthält eine Anzahl von verschwommenen Tropfen 10, wobei der Einfachheit halber nur ein Tropfen mit einem Bezugszeichen 10 versehen ist. Verschwommen bedeutet hierbei, dass eine
Objektgrenze des verschwommenen Tropfens 10 nicht eindeutig identifizierbar ist. Dies ist durch eine gepunktete Kreislinie um den verschwommenen Tropfen 10 herum
angedeutet. Ein c bildet hierbei ein Element des Referenzmusters RM.
Eine Koordinate eines solchen Elements entspricht einer Koordinate eines geometrischen Mittelpunktes eines verschwommenen Tropfens 10. Eine Koordinate eines abgebildeten verschwommenen Tropfens 10 im Koordinatensystem BK der Bilderfassungseinrichtung 6 kann beispielsweise durch Minimierung einer Differenz zwischen einem
koordinatenabhängigen tatsächlichen Intensitätsverlauf und einem angenommenen gaußförmigen Intensitätsverlauf erfolgen, wobei eine Lage eines Maximalwerts der Gaußverteilung verändert wird, bis die vorhergehend erläuterte Differenz minimal ist. Die Lage des Mittelpunkts entspricht dann der Lage des Maximalwerts, die die
vorhergehend erläuterte Differenz minimiert. Dies ermöglicht in vorteilhafter Weise die Bestimmung der Lagen der Mittelpunkte mit Subpixelgenauigkeit.
Hierfür kann in einem ersten Schritt eine Grobdetektion eines Elements erfolgen. In einem weiteren Schritt kann dann die vorhergehend erläuterte Bestimmung der Lage nur in dem in der Grobdetektion bestimmten Bereich erfolgen.
Sind die Koordinaten verschwommenen Tropfen 10, also der Elemente des
Referenzmusters RM, bestimmt, so können in Abhängigkeit der vorbekannten
geometrischen Eigenschaften des Referenzmusters RM, beispielsweise der Abstände zwischen den Koordinaten der verschwommenen Tropfen 10 und deren Abstände zu den Eckpunkten xTL, xTR, XBL, XBR, die Koordinaten der Eckpunkte xTL, XTR, XBL, XBR bestimmt werden. Sind diese Koordinaten der Eckpunkte XTL, XTR, XBL, XBR bestimmt, so kann auch eine Größe der virtuellen Darstellungsebene 7 bestimmt werden.
Insgesamt ergeben sich somit ein Verfahren und eine Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung 2 eines Head-up-Displays in einem Fahrzeug 1 , welche eine Kalibrierung des Head-up-Displays ohne Vorkenntnisse ermöglicht. Insbesondere ist es somit möglich, Fehler, die aufgrund von Fertigungs- und Produktionsungenauigkeiten entstehen, zu kompensieren.
Bezugszeichenliste
1 Fahrzeug
2 Bilderzeugungseinrichtung
3 Steuereinrichtung
4 Spiegel
5 Lichtstrahl
6 Bilderfassungseinrichtung
7 virtuelle Darstellungsebene
8 Lenkrad
9 Lüftungsgitter
10 verschwommener Tropfen
DK Koordinatensystem der virtuellen Darstellungsebene
BK Koordinatensystem der Bilderfassungseinrichtung
FK Fahrzeugkoordinatensystem
XTL Eckpunkt
XTR Eckpunkt
XBL Eckpunkt
XBR Eckpunkt
RM Referenzmuster

Claims

Patentansprüche
1 . Verfahren zur Steuerung einer Bilderzeugungseinrichtung (2) eines Head-Up- Displays in einem Fahrzeug (1 ), wobei mittels der Bilderzeugungseinrichtung (2) ein zweidimensionales Referenzmuster (RM) erzeugt und mittels eines
Projektionselements des Head-Up-Displays als projiziertes Referenzmuster (RM) dargestellt wird, wobei mittels mindestens einer Bilderfassungseinrichtung (6) eine Mehrzahl von zweidimensionalen Abbildern aus jeweils voneinander verschiedenen Lagen und/oder mit voneinander verschiedenen Orientierungen erzeugt wird, wobei in jedes Abbild der Mehrzahl von zweidimensionalen Abbildern das projizierte Referenzmuster (RM) zumindest teilweise abgebildet wird, wobei in einem Abbild jeweils Koordinaten zumindest eines abgebildeten Elements des Referenzmusters (RM) bestimmt werden,
dadurch gekennzeichnet, dass
zu jedem Abbild die entsprechende Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung (6) in einem Referenzkoordinatensystem erfasst oder bestimmt wird, wobei Koordinaten des mindestens einen abgebildeten Elements zumindest in Abhängigkeit von mindestens einem Abbildungsparameter einer ersten Abbildungsfunktion und in Abhängigkeit einer zweiten Abbildungsfunktion geschätzt werden, wobei die erste Abbildungsfunktion eine Abbildung von einem
Koordinatensystem (DK) einer virtuellen Darstellungsebene (7) des Head-Up- Displays in das Referenzkoordinatensystem beschreibt, wobei die zweite
Abbildungsfunktion eine Abbildung von dem Referenzkoordinatensystem in ein Koordinatensystem (BK) der Bilderfassungseinrichtung (6) in Abhängigkeit von der Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung (6) beschreibt, wobei der mindestens eine Abbildungsparameter der ersten
Abbildungsfunktion derart bestimmt wird, dass eine Abweichung zwischen den bestimmten und geschätzten Koordinaten des abgebildeten Elements minimiert wird, wobei in Abhängigkeit des mindestens einen Abbildungsparameters eine Lage und/oder Orientierung der virtuellen Darstellungsebene (7) des Head-Up-Displays im Referenzkoordinatensystem bestimmt wird, wobei in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene (7) die Steuerung der
Bilderzeugungseinrichtung (2) erfolgt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das
Referenzkoordinatensystem ein Fahrzeugkoordinatensystem (FK) ist.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass in jedes Abbild der Mehrzahl von zweidimensionalen Abbildern zumindest ein Teil des Fahrzeugs (1 ) abgebildet wird, wobei die Lage und/oder Orientierung der
Bilderfassungseinrichtung (6) in Abhängigkeit des abgebildeten Teils des Fahrzeugs (1 ) und einem im Referenzkoordinatensystem referenzierten Modell des Fahrzeugs (1 ) bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
zusätzlich eine weitere Abbildungsvorschrift bestimmt wird, wobei die weitere Abbildungsvorschrift eine Abbildung von dem Koordinatensystem (DK) der virtuellen Darstellungsebene (7) in das Koordinatensystem (BK) der Bilderfassungseinrichtung (6) beschreibt.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für mehrere Abbilder ein Abbildungsfehler zumindest eines Elements des
Referenzmusters (RM) bestimmt wird, wobei in Abhängigkeit einer Lage des Elements und einer Lage und/oder Orientierung der Bilderzeugungseinrichtung (6) ein Zusammenhang zwischen dem Abbildungsfehler, einer Betrachtungsposition und einer Lage eines anzuzeigenden Elements bestimmt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Zusammenhang zwischen der Betrachtungsposition, der Lage des anzuzeigenden Elements und dem in der jeweiligen Betrachtungsposition vorhandenen Abbildungsfehler als
parametrisiertes Modell bestimmt wird, wobei die Parameter des parametrisierten Modells derart bestimmt werden, dass der Abbildungsfehler für eine Mehrzahl von Lagen der Bilderfassungseinrichtung (6) und/oder eine Mehrzahl von Elementen des Referenzmusters (RM) minimal ist.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das parametrisierte Modell durch ein Polynom mit einer vorbestimmten Anzahl von unabhängigen Variablen gegeben ist.
8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass der Abbildungsfehler als Koordinatendifferenz zwischen theoretisch korrekten
Koordinaten eines Elements des Referenzmusters (RM) in der virtuellen
Darstellungsebene (7) in einem Koordinatensystem der virtuellen Darstellungsebene (7) und Koordinaten eines aus dem Abbild der Bilderfassungseinrichtung (6) in die virtuelle Darstellungsebene (7) transformierten korrespondierenden Elements bestimmt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Referenzmuster (RM) eine Vielzahl von in einer Matrixform angeordneten
verschwommenen Tropfen (10) aufweist.
10. Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung (2) eines Head-Up- Displays in einem Fahrzeug (1 ), wobei die Vorrichtung mindestens eine
Steuereinrichtung (3) umfasst, wobei mittels einer Bilderzeugungseinrichtung (2) ein zweidimensionales Referenzmuster (RM) erzeugbar und mittels eines
Projektionselements des Head-Up-Displays als projiziertes Referenzmuster (RM) darstellbar ist, wobei mittels mindestens einer Bilderfassungseinrichtung (6) eine Mehrzahl von zweidimensionalen Abbildern mit jeweils voneinander verschiedenen Lagen und/oder Orientierungen der Bilderfassungseinrichtung (6) erzeugbar ist , wobei in jedes Abbild der Mehrzahl von zweidimensionalen Abbildern das projizierte Referenzmuster (RM) zumindest teilweise abbildbar ist,
wobei mittels der Steuereinrichtung (3) oder einer weiteren Steuer- und
Auswerteeinrichtung in einem Abbild jeweils Koordinaten zumindest eines
abgebildeten Elements des Referenzmusters (RM) bestimmbar sind,
dadurch gekennzeichnet, dass
zu jedem Abbild die entsprechende Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung (6) in einem Referenzkoordinatensystem erfassbar oder bestimmbar ist, wobei Koordinaten des mindestens einen abgebildeten Elements zumindest in Abhängigkeit von mindestens einem Abbildungsparameter einer ersten Abbildungsfunktion und in Abhängigkeit einer zweiten Abbildungsfunktion schätzbar sind, wobei die erste Abbildungsfunktion eine Abbildung von einem Koordinatensystem (DK) einer virtuellen Darstellungsebene (7) des Head-Up- Displays in das Referenzkoordinatensystem beschreibt, wobei die zweite
Abbildungsfunktion eine Abbildung von dem Referenzkoordinatensystem in ein Koordinatensystem (BK) der Bilderfassungseinrichtung (6) in Abhängigkeit von der Lage und/oder Orientierung der mindestens einen Bilderfassungseinrichtung (6) beschreibt, wobei der mindestens eine Abbildungsparameter der ersten
Abbildungsfunktion derart bestimmbar ist, dass eine Abweichung zwischen den bestimmten und geschätzten Koordinaten des abgebildeten Elements minimiert wird, wobei in Abhängigkeit des mindestens einen Abbildungsparameters eine Lage und/oder Orientierung der virtuellen Darstellungsebene (7) des Head-Up-Displays im Referenzkoordinatensystem bestimmbar ist, wobei mittels der Steuereinrichtung (3) in Abhängigkeit der Lage und/oder Orientierung der virtuellen Darstellungsebene (7) die Steuerung der Bilderzeugungseinrichtung (2) erfolgt. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass ein Zusammenhang zwischen einem Abbildungsfehler, einer Betrachtungsposition und einer Lage eines anzuzeigenden Elements bestimmbar ist, wobei mittels der Steuereinrichtung (3) in Abhängigkeit der Lage eines anzuzeigenden Elements und der Betrachtungsposition der Abbildungsfehler bestimmbar ist, wobei die Steuerung der
Bilderzeugungseinrichtung (2) in Abhängigkeit des Abbildungsfehlers erfolgt.
PCT/EP2014/070511 2013-09-27 2014-09-25 Verfahren und vorrichtung zur steuerung einer bilderzeugungseinrichtung eines head-up-displays WO2015044280A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013219556.7A DE102013219556A1 (de) 2013-09-27 2013-09-27 Verfahren und Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung eines Head-Up-Displays
DE102013219556.7 2013-09-27

Publications (1)

Publication Number Publication Date
WO2015044280A1 true WO2015044280A1 (de) 2015-04-02

Family

ID=51619196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/070511 WO2015044280A1 (de) 2013-09-27 2014-09-25 Verfahren und vorrichtung zur steuerung einer bilderzeugungseinrichtung eines head-up-displays

Country Status (2)

Country Link
DE (1) DE102013219556A1 (de)
WO (1) WO2015044280A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272474A (zh) * 2018-11-21 2019-01-25 大陆汽车车身电子系统（芜湖）有限公司 确定成像系统预校正参数方法及用于成像系统的预校正方法
WO2019057253A1 (de) * 2017-09-22 2019-03-28 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zum anpassen einer bildverarbeitung basierend auf einer form einer anzeigeneinrichtung für ein kraftfahrzeug
CN111086451A (zh) * 2018-10-23 2020-05-01 中兴通讯股份有限公司 一种平视显示系统、显示方法和汽车
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US20230016207A1 (en) * 2018-11-12 2023-01-19 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105403415B (zh) * 2015-12-29 2018-01-16 腾讯科技（深圳）有限公司 一种车辆诊断系统的数据处理方法、装置和系统
DE102016003021B4 (de) 2016-03-12 2017-11-23 Audi Ag Kraftfahrzeug-Steuervorrichtung und Verfahren zum Ermitteln einer Position eines in einem Kraftfahrzeug eingebauten optischen Sensors
WO2018015039A1 (de) * 2016-07-18 2018-01-25 Saint-Gobain Glass France Head-up-display system zur darstellung von bildinformationen und dessen kalibrierung
DE102017000674B3 (de) 2017-01-26 2018-05-30 Daimler Ag Visuelle Unterstützung einer manuellen Kalibrierung eines Head-Up-Displays in einem Fahrzeug
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046019A1 (de) * 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Verfahren und Vorrichtung zur verzerrungsfreien Darstellung von Bildelementen
FR2860601A1 (fr) * 2003-10-07 2005-04-08 Thales Sa Procede de correction de distorsion d'un imageur a cristaux liquides
WO2006072527A1 (de) * 2005-01-05 2006-07-13 Siemens Aktiengesellschaft Head-up-display für ein kraftfahrzeug
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
WO2007083215A2 (en) * 2006-01-17 2007-07-26 Ferrari S.P.A. Method of controlling a road vehicle hud system
US20080088526A1 (en) 2006-10-17 2008-04-17 Tatiana Pavlovna Kadantseva Method And Apparatus For Rendering An Image Impinging Upon A Non-Planar Surface
EP1956413A2 (de) * 2007-02-09 2008-08-13 GM Global Technology Operations, Inc. Holographisches Informations-Display
DE102007045301A1 (de) * 2007-09-21 2009-04-02 Carl Zeiss Ag Anordnung und Verfahren zur Charakterisierung von reflektiv abbildenden Projektionssystemen
US7835592B2 (en) 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007021230B4 (de) * 2007-05-07 2021-02-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Kalibrierung einer Vielzahl von Projektionseinrichtungen

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046019A1 (de) * 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Verfahren und Vorrichtung zur verzerrungsfreien Darstellung von Bildelementen
FR2860601A1 (fr) * 2003-10-07 2005-04-08 Thales Sa Procede de correction de distorsion d'un imageur a cristaux liquides
WO2006072527A1 (de) * 2005-01-05 2006-07-13 Siemens Aktiengesellschaft Head-up-display für ein kraftfahrzeug
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
WO2007083215A2 (en) * 2006-01-17 2007-07-26 Ferrari S.P.A. Method of controlling a road vehicle hud system
US20080088526A1 (en) 2006-10-17 2008-04-17 Tatiana Pavlovna Kadantseva Method And Apparatus For Rendering An Image Impinging Upon A Non-Planar Surface
US7835592B2 (en) 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
EP1956413A2 (de) * 2007-02-09 2008-08-13 GM Global Technology Operations, Inc. Holographisches Informations-Display
DE102007045301A1 (de) * 2007-09-21 2009-04-02 Carl Zeiss Ag Anordnung und Verfahren zur Charakterisierung von reflektiv abbildenden Projektionssystemen

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019057253A1 (de) * 2017-09-22 2019-03-28 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zum anpassen einer bildverarbeitung basierend auf einer form einer anzeigeneinrichtung für ein kraftfahrzeug
CN110720112A (zh) * 2017-09-22 2020-01-21 康蒂-特米克微电子有限公司 基于机动车辆显示装置的形状调整匹配图像处理的装置和方法
US20200111191A1 (en) * 2017-09-22 2020-04-09 Conti Temic Microelectronic Gmbh Apparatus and Method for Adapting Image Processing Based on a Shape of a Display Device for a Motor Vehicle
US10832372B2 (en) 2017-09-22 2020-11-10 Conti Temic Microelectronic Gmbh Apparatus and method for adapting image processing based on a shape of a display device for a motor vehicle
CN111086451B (zh) * 2018-10-23 2023-03-14 中兴通讯股份有限公司 一种平视显示系统、显示方法和汽车
CN111086451A (zh) * 2018-10-23 2020-05-01 中兴通讯股份有限公司 一种平视显示系统、显示方法和汽车
US20230016649A1 (en) * 2018-11-12 2023-01-19 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US20230016207A1 (en) * 2018-11-12 2023-01-19 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US11662602B2 (en) * 2018-11-12 2023-05-30 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US11668948B2 (en) * 2018-11-12 2023-06-06 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
CN109272474A (zh) * 2018-11-21 2019-01-25 大陆汽车车身电子系统（芜湖）有限公司 确定成像系统预校正参数方法及用于成像系统的预校正方法
CN109272474B (zh) * 2018-11-21 2022-04-12 大陆汽车车身电子系统（芜湖）有限公司 确定成像系统校正参数方法及成像系统的预校正方法

Also Published As

Publication number Publication date
DE102013219556A1 (de) 2015-04-02

Similar Documents

Publication Publication Date Title
WO2015044280A1 (de) Verfahren und vorrichtung zur steuerung einer bilderzeugungseinrichtung eines head-up-displays
EP3353013B1 (de) Projizieren eines vorgebbaren lichtmusters
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102015006612B4 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
EP3847499B1 (de) Verfahren zum betreiben einer blickfeldanzeigevorrichtung für ein kraftfahrzeug
DE102018200963A1 (de) Head-up-anzeigevorrichtung und anzeigesteuerverfahren
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
EP1404545A1 (de) Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges
DE102020124756B4 (de) Verfahren und Vorrichtung zum Kalibrieren eines virtuellen Bildes
DE102010038825A1 (de) Bildanzeigesteuervorrichtung
DE102017220268B4 (de) Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
DE102011075702A1 (de) Verfahren und Vorrichtung zur Ausrichtung einer Projektion einer Projektionseinrichtung eines Fahrzeugs
WO2019057452A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
EP3475921A1 (de) Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP1724726B1 (de) Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
EP3296795A1 (de) Verfahren zur darstellung eines bildobjekts in einem fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen anzeige
DE102020003921A1 (de) Verfahren zur Kalibrierung eines Head-Up-Displays und Fahrzeug mit einem solchen Head-Up-Display
DE102019112189A1 (de) Verfahren und Vorrichtung zur Anzeige eines Informationsobjektes in einer Augmented-Reality-Datenbrille
DE102016225082A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102015005363A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung sowie Fahrzeug
WO2024132701A1 (de) Verfahren zur darstellung einer erweiterten ansicht der umgebung eines fahrzeugs, computerprogramm, rechenvorrichtung und fahrzeug
EP4208372A1 (de) Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14772377

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14772377

Country of ref document: EP

Kind code of ref document: A1